2017-08-19 63 views
0

如何使用Apache NIFI作爲具有源作爲HDFS &目標的Oracle數據庫的ETL過程。 Apache NIFI與其他ETL工具(如Pentaho,Datastage等)相比有什麼限制。針對ETL的Apache NIFI

+0

如何評估有效性?它是否覆蓋了要求? oracle和hdfs連接器 - 「是」。它是否可擴展? - 'yes' - 使用groovy/js/python編寫腳本或構建自定義處理器。列出所有的限制? - 對我來說,要得到嚴格的答案,列出你期望的功能。IHMO:我會選擇nifi作爲ETL類任務的工具。 – daggett

回答

0

使用apache NIFI作爲haddop和oracle之間的媒介,nifi取決於Hadoop環境和Oracle數據庫之間的響應時間。對於這個sqoop是正確的組件。使用nifi進行HDFS和Oracle之間的數據傳輸這一大規模的數據傳輸我只能看到瓶頸是MEMORY,即RAM。由於NIFI純粹在java上工作,它可能很糟糕,也可能不會利用像sqoop這樣的並行處理概念。由於nifi處理器只是一個java線程在運行時處理數據和nifi適合數據流式傳輸