3
任何人都可以請指出這是什麼激活的批掛有許多個星期的原因，從來沒有被處理？非常感謝。星火流：長時間排隊/主動批次
我的猜測是沒有足夠的執行者，多的工人/執行器就能解決問題？或者Spark對其任務調度程序中的不同批次分配優先級？
但這裏的情況是，最近才批（六月底）得到成功處理，但在5月批仍在排隊。
我只是檢查我的星火設置，調度策略是FIFO
spark.scheduler.mode FIFO
A
回答
1
事實證明，在主節點是瓶頸。
主節點內存不足，然後也許調度無法處理速度不夠快。
解決方案：更改主節點成爲一個更強大的EC2實例
相關問題
- 1. 流星火異常「主」
- 2. 時間序列預測中的星火和星火流
- 3. iTunes App Store：主版本升級=更長的批准排隊時間？
- 4. 星火流：java.lang.OutOfMemoryError：Java堆空間
- 5. 星火流 - HBase的批量加載
- 6. 星火流僅流流初始化時間
- 7. 流星火Session.set
- 8. 星火流：java.lang.NoSuchFieldException：SHUTDOWN_HOOK_PRIORITY
- 9. Python的星火流只運行一次
- 10. 流星 - 按時間戳排序
- 11. LSTM批次與時間步長
- 12. 星火流執行流
- 13. 星火流過TCP
- 14. 星火流架構
- 15. 通過星火流
- 16. 聯盟星火流
- 17. 在某些時間安排批次
- 18. 批次與時間主要LSTM
- 19. 流星在每次啓動
- 20. 星火流處理時間與總延時VS處理延遲
- 21. DB寫入與星火流，同時還星火流運行，只有當我關閉星火
- 22. 星火流：卡夫卡組ID星火結構化流
- 23. 排隊的時間
- 24. 星火室壁運動流例如
- 25. 非流動排序與流星
- 26. 流星 - 一次
- 27. 火花：火花CSV時間過長
- 28. 在從工作流調用長時間運行的WCF服務之前排隊？
- 29. 流星火事件收集符合時間
- 30. NoClassDefFound異常星火流
我運行一個虛擬機有1個vCPU這是造成積壓 – devl