HDF到HDP數據存儲

Question

我們有兩個集羣。一個是包含Nifi的HDF集羣，另一個是HDP集羣包含hdf，Hive等組件。我們正在從文件中讀取數據，並希望將其放置在hdp羣集hdfs中。

任何人都可以指出來對此或一些實例文檔..

在此先感謝

Answer 1

NiFi的PutHDFS處理器將數據寫入到HDFS。您可以使用hdfs-site.xml和core-site.xml文件對其進行配置。

有時，網絡，安全性或應用程序配置使安全地將文件從遠程NiFi文件寫入Hadoop羣集變得困難。一種常見模式是使用兩個NiFis - 一個NiFi收集，格式化和彙總記錄，然後通過NiFi site-to-site協議傳輸到Hadoop集羣內的第二個NiFi。由於第二個NiFi位於Hadoop集羣內部，因此可以更輕鬆地將文件安全地寫入HDFS。

PutHDFS功能在一對夫婦NiFi Example Dataflow Templates，其中還演示了通常相關的活動，如聚合數據，目錄和文件命名和NiFi站點到站點通信。