如果是,請爲我指導基本步驟。 我通過頁面scorll,並意識到它可能使用core-site.xml我可以使用Apache NIFI將文件傳輸到HDFS系統。
2
A
回答
1
您可以通過使用PutHDFS處理器輕鬆地將文件傳輸到HDFS文件系統。
看這個鏈接下方,
https://nifi.apache.org/docs/nifi-docs/components/org.apache.nifi.processors.hadoop.PutHDFS/
在此處理器必須指定下列屬性足以將文件轉移到HDFS。
1.Hadoop配置資源:文件
/Hadoop/conf/core-site.xml,/Hadoop/conf/hdfs-site.xml,/Hadoop/conf/yarn-site.xml,/Hadoop/conf/mapred-site.xml
2.Directory的-A文件或逗號分隔的列表:指定HDFS目錄的位置
/FilesFromNiFi/
3。衝突策略:(追加/替換/忽略/失敗)
append
例如:
如果妳需要將文件從本地驅動器移動到HDFS採用以下NiFi流程即
GetFile-->PutHDFS
GetFile-->Just give your input directory.
putHDFS-->Specify your HDFS location
您需要拖動一個處理器進入UI相對於下方圖像,
請參閱此鏈接拖到此兩個處理器GetFi LE和putHDFS到NiFi UI
https://nifi.apache.org/docs/nifi-docs/html/user-guide.html#adding-components-to-the-canvas
http://zdatainc.com/2016/02/hello-nifi-data-orchestration-using-hortonworks-dataflow-hdf/
讓我知道,如果你面對任何問題。
相關問題
- 1. 如何將文件從本地文件系統複製到HDFS文件系統?
- 2. 將文件上傳到文件系統
- 3. 使用-put命令可以在HDFS中傳輸文件嗎?
- 4. 將文件系統中的文件(圖像)複製到HDFS
- 5. 如何使用NiFi API在NiFi中傳輸流文件?
- 6. 將許多小文件傳輸到Hadoop文件系統
- 7. 如何將文件從HDFS複製到本地文件系統
- 8. 從HDFS使用文件到Apache Spark中
- 9. 使用Flume將本地文件系統中的文件複製到HDFS
- 10. 如何將文件(PDF)傳輸到Hadoop文件系統
- 11. 使用Nifi將數據導入HDFS - 無法訪問文件
- 12. 將內容從HDFS複製到本地文件系統
- 13. 用於HDFS文件系統的網址
- 14. 我們可以使用Apache卡夫卡作爲一個系統文件看
- 15. 從HDFS傳輸文件
- 16. 從HDFS複製文件到本地文件系統用JAVA
- 17. 我可以使用DTUTIL將SSIS包部署到文件系統嗎?
- 18. 從Json文件Nifi流式傳輸
- 19. 從運行在遠程服務器上的Apache Zeppelin將文件傳輸到HDFS
- 20. Apache Nifi:將SOAP文件轉換爲JSON
- 21. HDFS以外的文件系統支持Hadoop序列文件
- 22. 將文件/塊從HDFS複製到從節點的本地文件系統
- 23. 將文件從不安全的hdfs傳輸到受保護的hdfs羣集
- 24. 使用Java將文件從SFTP服務器傳輸到本地系統
- 25. HDFS文件系統關閉異常
- 26. 我可以使用Google NaCl訪問文件系統嗎?
- 27. 使用操作系統將Golang文件上傳到s3打開
- 28. 使用Node.js將圖像上傳到文件系統
- 29. Can RavenDB可以將文檔保存到文件系統嗎?
- 30. NIFI - 未指定傳輸關係
我無法在Apache NiFi中找到上述組件(GetFile PutHDFS)? 一些設置,以包括? – Pradhuman
我編輯了我的答案。您必須將這兩個處理器拖入用戶界面中,並附上答案 –
謝謝您的回覆。我的NiFi二進制文件被破壞,我只能看到7個處理器作爲選項。 我糾正了上述問題,現在它的工作正常,我可以看到183個奇數處理器的選項。 – Pradhuman