2016-09-08 307 views
8

Airflow和Nifi是否在工作流程上執行相同的工作?每個人的親/愛是什麼? 我需要閱讀一些json文件,向它添加更多的自定義元數據並將其放入要處理的卡夫卡隊列中。我能夠在Nifi中做到這一點。我仍在研究Airflow。我正在嘗試爲我的項目 選擇最佳的工作流引擎謝謝!Airbnb Airflow vs Apache Nifi

回答

7

對於氣流和Apache NiFi結帳這個reddit的帖子了很好的概述:https://www.reddit.com/r/bigdata/comments/51mgk6/comparing_airbnb_airflow_and_apache_nifi/

對於攝取JSON檔案,豐富它們,並將它們路由到卡夫卡的具體使用情況,我相信NiFi對於正確的工具工作。一對夫婦的處理器,你可以潛在地使用,以及文檔的每個,低於:

的GetFile:https://nifi.apache.org/docs/nifi-docs/components/org.apache.nifi.processors.standard.GetFile/index.html

JoltTransformJSON:https://nifi.apache.org/docs/nifi-docs/components/org.apache.nifi.processors.standard.JoltTransformJSON/index.html

PublishKafka(或PublishKafka_0_10取決於您的版本):https://nifi.apache.org/docs/nifi-docs/components/org.apache.nifi.processors.kafka.pubsub.PublishKafka/index.html