0
在處理數據太大而無法完全加載到內存中時，PySpark是否提供了任何優勢？我試圖將這個（和其他功能）與基於IPy Parallel的方法進行比較。當數據大小大於內存時PySpark是否提供了優勢？
A
回答
0
spark-shell（使用scala）/ pyspark是用於超高速集羣計算。
這一切都取決於集羣的大小，特別是要分配給每個工人的SPARK_WORKER_MEMORY。
如果您的數據更適合內存，spark會有效地使用DISK（以及內存）。
希望這有助於:)
相關問題
- 1. Redis - 數據大小是否可以大於內存大小？
- 2. 固定大小的數據庫 - 優勢？
- 3. ObjectContext和ObjectSet是否比DbContext和DbSet提供了優勢？
- 4. java內存大小優化
- 5. MongoDB作爲NoSQL數據庫僅提供優於ElasticSearch的優勢
- 6. gcc是否提供內建讀取大端內存？
- 7. 大內存（數據大小）集合
- 8. 優勢設定字體大小，以大於100％
- 9. 當不知道運行時的大小時提供正確的圖像大小
- 10. 是否改變內存大小？
- 11. 龐大的數據集內存優化
- 12. 是否可以獲取hsqldb內存數據庫的大小？
- 13. Cassandra數據庫行大小是否受可用內存限制？
- 14. 滑動，當緩存大小大於50 mb時清除緩存
- 15. Pyspark - 最大/最小參數
- 16. 內存對齊優化也是內存大小
- 17. 如何根據屏幕大小提供適當的背景圖像大小？
- 18. AS3：優化對象內存大小
- 19. 優化大表加盟PySpark
- 20. 當數字大於Python的sys.maxint時，它們是否需要更多內存？
- 21. 如何判斷隊列大小是否大於最大整數？
- 22. 內存大小
- 23. 最大陣列大小是否等於RAM大小？
- 24. 窗口大小是否大於屏幕大小？
- 25. Entlib與ACA.Net - ACA.Net是否提供任何優勢？
- 26. 使用$ log提供程序是否有優勢？
- 27. opencv調整大小函數是否存在最大數組大小限制？
- 28. 解析數組實現爲大量數據提供優化？
- 29. 數據庫和表的內存大小
- 30. Python數據結構的內存大小
+根據您的要求選擇RDD持久性存儲級別 –