hadoop CopytoLocal命令在哪裏被記錄？

我想知道何時將文件從hadoop複製到本地，在哪裏記錄此信息。我查看了hadoop審計日誌和namenode日誌，我沒有看到這些信息被記錄下來。任何幫助將不勝感激。hadoop CopytoLocal命令在哪裏被記錄？

2017-10-05 Vishy

我不明白這個問題。你想看到什麼記錄？ – philantrovert

我希望在日誌中看到複製命令，或者有人會說有人試圖將文件從hadoop複製到本地。 – Vishy

我不認爲這種信息會被記錄下來，而且我也沒有看到它爲什麼會這樣。 – philantrovert

CopyToLocal可以將文件複製到本地文件系統。這個過程涉及很多類和方法，所以你最好在日誌中看到hadoop-hadoop-namenode-Master.log，hadoop-hadoop-jobtracker-Master.log，hadoop-hadoop-datanode-Slave1.log。我會給自己一些關於寫文件的理解。讀取的過程與寫入文件的過程相似。

您可以在hadoop-hadoop-namenode-Master.log中搜索「cmd = mkdirs」，並且可以搜索「HDFS_WRITE」等。這些關鍵詞提供了寫入文件的過程，即put或CopyFromLocal。然後，您可以根據您的目的閱讀這些日誌。

注意：你最好在主節點和從節點分別找到你的日誌，上面的日誌名字就在我的電腦裏。

來源

2018-01-02 07:51:03 Sky

hadoop CopytoLocal命令在哪裏被記錄？

回答

相關問題