0
我有以下作業需要一個順序文件的行數。當在多個節點上運行例如4時，我得到4個不同的行數。我將如何去輸出行數只有一行。Aggregater Stage輸出不正確的行數
源 - >變壓器（這有一個空行計數） - >聚合階段 - >順序文件
任何幫助將不勝感激！謝謝！
A
回答
0
您可以將聚合器階段的執行模式設置爲Sequential（Stage-Advanced選項卡）。如果作業不處理大量數據，則可能不會遇到太多性能下降的問題。如果您處理大量數據，則將聚合器保留爲並行，然後添加另一個聚合器並將THAT設置爲順序而不是更合理
相關問題
- 1. 數組輸出不正確
- 2. 輸出不正確
- 3. 輸出不正確
- 4. Dijkstra執行中的輸出不正確
- 5. json的輸出不正確
- 6. 不正確的輸出
- 7. 的Javascript輸出不正確
- 8. Rails的輸出不正確
- 9. 不正確的輸出 - 模數不正確計算
- 10. HashTable不輸出正確的數據
- 11. 遞歸函數不正確的輸出
- 12. istringstream不輸出正確的數據
- 13. 不正確的函數輸出
- 14. Python的數學輸出不正確
- 15. 有時輸出的數字不正確。
- 16. 代碼輸出不正確
- 17. C++類輸出不正確
- 18. 輸出訂貨不正確
- 19. 最大輸出不正確
- 20. Flex（Lex）輸出不正確
- 21. RegExpr輸出不正確
- 22. Data.ByteString輸出不正確
- 23. 文件輸出不正確
- 24. 浮點輸出不正確
- 25. Process.stdout.readline（）不正確輸出
- 26. 納米輸出不正確
- 27. ConvertTo-JSON輸出不正確
- 28. CUFFT輸出不正確
- 29. XSLT輸出不正確
- 30. MYSQL - 輸出不正確？
聚合器階段需要用於分組的鍵列。如果分區類型保留爲auto，則將在這些鍵列上完成數據分區。所以問題不是因爲多節點。從您的聲明中，我認爲您使用該虛擬行作爲關鍵。確保虛擬行在所有行中具有相同的值。然後只有所有的行都會進入同一分區，並且您將得到一行總行數。 – adhithiyan