Hadoop的應用程序日誌大小

我正在經歷數據節點的日誌和爲一個特定的應用程序ID予見下文步驟Hadoop的應用程序日誌大小

在它示出具有字節

application_0970580980111_1399512/ 4096 bytes Aug 24, 2016 10:27:10 PM

的數目該文件夾中的應用程序ID的第一個步驟我可以看到很多容器。像

container_095860509_1399512_01_000001/ 4096 bytes Aug 24, 2016 10:09:46 PM 
container_09586050091_1399512_01_000428/ 4096 bytes Aug 24, 2016 10:13:40 PM

而最後一個容器內，我們都需要日誌

stderr 2043 bytes Aug 24, 2016 10:24:18 PM 
stdout 0 bytes Aug 24, 2016 10:09:45 PM 
syslog 297178648 bytes Aug 24, 2016 10:29:02 PM

我可以看到系統日誌大約是297178648字節，那麼，什麼是表示容器和應用水平4096個字節的顯著。

來源

2016-08-25 Amit

您正在使用哪個生態系統組件，您可能需要調整日誌記錄以最大限度地減少日誌消息，將日誌級別更改爲錯誤或某些事情... – vgunnu

4096字節是文件夾的「有點默認」大小。即使某些文件夾中存在真正的文件，Unix也不計算文件夾的總文件大小。在您的情況下，container文件夾因此存在默認4096字節，不包括stderr或stdout或syslog的大小。另一個相關的事實是，如果你嘗試hadoop fs -ls /someFolder，你會得到0的大小。甚至可能比4096更差。

來源

2016-08-25 08:01:50 abhiieor

感謝@abhiieor – Amit

Hadoop的應用程序日誌大小

回答

相關問題