跨羣集記錄

Question

我正在運行基於羣集的應用程序（使用Spark，但同樣的問題適用於Hadoop），並且想要執行應用程序級別日誌記錄（理想情況下使用slf4j）。但是，我希望日誌到達中央位置 - 我不想在每臺計算機上都讀取單個文件。一個HDFS文件會很棒 - 或者我可以在一個命令中回退和grep的任何東西。

我該怎麼做？

Answer 1

有幾種方法可以解決這個問題。 對於像並行SSH這樣的罕見/臨時搜索工具可以使用。由於日誌量可能相當並行grep可能會更有效
對於監視 - 將日誌（在錯誤級別上）重定向到像LogStash這樣的系統是有意義的，能夠存儲和搜索大量日誌。