新創建的S3目錄有作爲1969-12-31時間戳

Question

我遇到這個奇怪的問題，我在S3N創建的所有目錄都有相同的時間戳是1969-12-31

我創建的目錄使用「hadoop fs -mkdir」並使用mapreduce作業獲得相同的時間戳。

如何獲得正確的時間戳？ 謝謝

Answer 1

這只是一個內置於s3-hdfs實現中的黑客攻擊，因爲s3實際上並沒有目錄的概念，所以hadoop無處可讀地從目錄創建/修改日期。

事實上，在s3中，所有文件都存儲爲根級對象，並且密鑰中允許使用斜槓'/'。因此與hdfs不同，沒有關鍵字前綴（目錄）的元數據。

實施例，在HDFS：

/some/path.txt < - 兩者/一些和/some/path.txt有元數據包含創建/修改的日期

在S3：

/some/path.txt是的名稱文件。沒有目錄。添加一個斜槓作爲分隔符只是慣例，它允許hadoop假裝s3有目錄。當你運行像hadoop fs -ls s3n://bucket/directory1/東西它只是使用默認的創建日期，你可以這樣調用它的一些-path.txt如果你喜歡（雖然Hadoop的也不會高興）

。