Spark中RDD數量的最大限制

Question

我是Spark的新手，目前正在學習相關概念。我擁有的一個基本問題是Spark中RDD的數量限制是多少？

Answer 1

據我所知，Spark中RDD的數量沒有限制。

只限於內存和磁盤交換空間Spark可以擴展/使用。

我一直在生產40tb的數據，但尚未達到任何類型的限制。