如何識別HDFS中的新文件

Question

想知道是否有方法來識別添加到HDFS路徑中的新文件？例如，如果某些文件已經存在一段時間了。現在我今天添加了新文件。所以只想處理這些新文件。什麼是實現這一目標的最佳方式。

謝謝

Answer 1

您需要編寫一個java代碼來執行此操作。這些步驟可能有所幫助：

1. Before adding new files, fetch the last modified time (hadoop fs -ls /your-path). Lets say it as mTime. 
2. Next upload new files into hdfs path 
3. Now filter the files that are greater than mTime. These files are to be processed. Make your program to process only these files. 

這只是開發代碼的提示。 :)

Answer 2

如果是Mapreduce，那麼您可以創建每天附加時間戳的輸出目錄。

像

FileOutputFormat.setOutputPath(job, new Path(hdfsFilePath 
      + timestamp_start); // start at 12 midnight for example: 1427241600 (GMT) --you can write logic to get epoch time