在Google Dataflow上運行的Java應用程序配置文件

Question

您是否知道如何配置在數據流工作器上運行的Java應用程序？ 你知道任何工具可以讓我發現我的應用程序的內存泄漏嗎？

Answer 1

對於時間分析，您可以嘗試issue 72中描述的說明，但在將工作人員從工作人員身上取下之前，工作人員被拆卸或自動縮小可能會有困難。不幸的是，它不提供內存分析，因此它不會幫助解決內存泄漏問題。

您也可以使用DirectPipelineRunner運行，它將在您的機器上本地執行管道。這將允許您在您的管道中剖析代碼，而無需處理Dataflow工作人員。根據管道的規模，您可能需要將輸入大小調整爲可在一臺機器上處理的內容。

試圖區分工作人員上運行的代碼也是有幫助的 - 例如，單個DoFn中的代碼以及管道和數據的結構。例如，內存不足問題可能是由於有一個GroupByKey與單個密鑰相關聯的值太多並將其讀入列表中。