2
我想知道是否有一個廣播變量的火花限制的大小，因爲我需要廣播一個大對象（6GB，可以在未來更大）。 我已經在主頁和本網站搜索，但沒有發現回答我的問題。 我會在播放一個非常大的對象時遇到問題嗎？火花廣播變量的大小是否有限制？
A
回答
2
Java Integer.MAX_VALUE有一個限制。這就是說大約2,3 GB。 請在這裏查看Spark Jira的更多信息：https://issues.apache.org/jira/browse/SPARK-5739
相關問題
- 1. 火花流 - 在foreachrdd中廣播變量廣播始終
- 2. 星火廣播變量：大地圖
- 3. 製造文件中變量的大小是否有限制
- 4. 廣播變量在星火
- 5. 如何更新火花流中的廣播變量？
- 6. 檢查大小廣播變量PySpark
- 7. 火花斯卡拉廣播變量不工作：任務不serializble
- 8. iPhone SDK是否限制udp廣播？
- 9. chrome.hid.send的ArrayBuffer大小是否有限制？
- 10. 火花傳輸中的廣播
- 11. 堆棧大小的最大使用限制是否有限制？
- 12. document.execCommand（'copy'）是否有大小限制？
- 13. Ruby對象是否有大小限制？
- 14. std :: unique是否有大小限制？
- 15. CGBitmapContextCreate（）是否有大小限制？
- 16. 是否有ajax郵寄大小限制？
- 17. HTML5 Manifest是否有大小限制？
- 18. WritePrivateProfileStruct是否有大小限制？
- 19. Numpy：是否有數組大小限制？
- 20. MSMQ隊列大小是否有限制？
- 21. MBTiles文件是否有大小限制？
- 22. 火花廣播與Singleton封裝
- 23. 限制文本火花textarea可用大小
- 24. 可超量單元值的大小是否有限制？
- 25. Ajax請求返回的數據量是否有大小限制？
- 26. 火花Scala的拋出「java.util.NoSuchElementException：鍵未找到」與廣播可變
- 27. 知道一個廣播可變的火花
- 28. 限制行的大小是否有利於MySQL表大小？
- 29. Node.js中的響應大小是否有大小限制
- 30. 限制插播式廣告的數量
它被下載到每臺機器上，因此您需要內存來存儲廣播變量和所有任務。 – abalcerek
您是不是說廣播變量的大小僅受每個執行程序內存的限制，如果我們有足夠的RAM，我們可以擁有例如1TB廣播變量？ –