如何使用python日誌記錄模塊從spark worker登錄到stdout？

Question

我可以使用python日誌記錄模塊從rdd.map中執行的函數和分發給工作節點的其他函數中記錄主Spark實例上的stdout嗎？

具體而言，我在客戶端模式下使用紗線，並希望能夠從所有工作人員收集日誌。因此，如果任何工人運行線如

logger.log("Starting to do something...") 

將好像它是不是一個節點上執行的被打印到stdout /其他記錄器上的主。執行完成後，可以在作業結束時打印日誌。

Answer 1

this的第一個回覆回答您的問題，它包含一個編碼示例（code link）。