2
我想弄清楚Spark中所有非確定性的來源。我明白，非確定性可以來自用戶提供的功能，例如在f（涉及隨機）的地圖（f）中。相反，我正在尋找可能導致非確定性的操作，無論是在較低級別的轉換/操作方面，例如洗牌。Apache Spark的非確定性的來源
A
回答
1
關閉我的頭頂：這需要改組（一般或網絡流量）
操作可能在不確定的順序輸出值。它包括明顯的情況，如
groupBy*或join。一個不太明顯的例子是關係的分揀操作之後的命令依賴於該改變的數據源或一個可變的全局狀態內的變換執行
的副作用，包括
accumulator更新
相關問題
- 1. 非確定性來源
- 2. Spark Apache源代碼
- 3. Apache Spark性能
- 4. 確定傳遞性依賴的來源
- 5. Apache Spark的性能調優
- 6. Spark SQL - 非確定性UDF的單一評估
- 7. 查找非確定性CFL其反過來確定性
- 8. Promela - 非確定性不是非確定性的？
- 9. JavaScript中的浮點數的精度是否是非確定性的來源？
- 10. 確定QKeyEvent的來源
- 11. 非確定性parsererror
- 12. Apache Spark性能問題
- 13. Apache Spark - 計算相關性
- 14. 確定非法指令錯誤的來源
- 15. Apache Spark vs Apache Spark 2
- 16. 訪問非確定性資源的最佳方法是什麼？
- 17. 確定性函數是非確定性的
- 18. 非確定性圖靈機
- 19. IBM Bluemix Apache Spark資源管理器
- 20. 的Apache Sqoop和Spark
- 21. Apache Spark的分區
- 22. apache spark中的sortbykey
- 23. 定製並行apache spark
- 24. OpenAL - 確定最大來源
- 25. CONVERT是非確定性的嗎？
- 26. Haskell中的非確定性是什麼？
- 27. NP中的非確定性是什麼？
- 28. 非確定性，不明智的語法？
- 29. elasticsearch是非確定性的嗎？
- 30. 與synchronizedList的非確定性行爲
燦你舉了一個轉換中的副作用的例子嗎？ –
與外部系統通信，寫入文件，更新「全局」執行程序狀態。 – zero323
幾乎不會忘記獲取時間戳或環境變量的任何操作，因爲它們因節點而異 –