在HDFS中移動文件的最佳實踐或工具

Question

我們正在使用map-reduce上的POC來計算我們的應用程序的模塊使用情況。應用程序運行在位於單獨框中的J2EE容器上，hadoop安裝位於單獨的框中，我們需要將日誌文件從應用程序容器框移動到hadoop框。下面提到的是一些需要幫助/建議的查詢。

1. 將日誌文件從多個位置移動到HDFS的任何工具/框架？最佳做法是什麼？
2. 如何運行這個移動文件的作業？它應該是cron作業或文件大小觸發移動到HDFS？

Answer 1

您需要Apache Flume。 Flume是將日誌文件移入Hadoop HDFS的流行標準工具。 它可以作爲cron作業運行。