針對ETL的Apache NIFI

如何使用Apache NIFI作爲具有源作爲HDFS &目標的Oracle數據庫的ETL過程。 Apache NIFI與其他ETL工具（如Pentaho，Datastage等）相比有什麼限制。針對ETL的Apache NIFI

2017-08-19 arul lal Divakar

如何評估有效性？它是否覆蓋了要求？ oracle和hdfs連接器 - 「是」。它是否可擴展？ - 'yes' - 使用groovy/js/python編寫腳本或構建自定義處理器。列出所有的限制？ - 對我來說，要得到嚴格的答案，列出你期望的功能。IHMO：我會選擇nifi作爲ETL類任務的工具。 – daggett

使用apache NIFI作爲haddop和oracle之間的媒介，nifi取決於Hadoop環境和Oracle數據庫之間的響應時間。對於這個sqoop是正確的組件。使用nifi進行HDFS和Oracle之間的數據傳輸這一大規模的數據傳輸我只能看到瓶頸是MEMORY，即RAM。由於NIFI純粹在java上工作，它可能很糟糕，也可能不會利用像sqoop這樣的並行處理概念。由於nifi處理器只是一個java線程在運行時處理數據和nifi適合數據流式傳輸

來源

2018-03-08 07:42:27

針對ETL的Apache NIFI

回答

相關問題