Airbnb Airflow vs Apache Nifi

Question

Airflow和Nifi是否在工作流程上執行相同的工作？每個人的親/愛是什麼？ 我需要閱讀一些json文件，向它添加更多的自定義元數據並將其放入要處理的卡夫卡隊列中。我能夠在Nifi中做到這一點。我仍在研究Airflow。我正在嘗試爲我的項目 選擇最佳的工作流引擎謝謝！

Answer 1

對於氣流和Apache NiFi結帳這個reddit的帖子了很好的概述：https://www.reddit.com/r/bigdata/comments/51mgk6/comparing_airbnb_airflow_and_apache_nifi/

對於攝取JSON檔案，豐富它們，並將它們路由到卡夫卡的具體使用情況，我相信NiFi對於正確的工具工作。一對夫婦的處理器，你可以潛在地使用，以及文檔的每個，低於：

的GetFile：https://nifi.apache.org/docs/nifi-docs/components/org.apache.nifi.processors.standard.GetFile/index.html

JoltTransformJSON：https://nifi.apache.org/docs/nifi-docs/components/org.apache.nifi.processors.standard.JoltTransformJSON/index.html

PublishKafka（或PublishKafka_0_10取決於您的版本）：https://nifi.apache.org/docs/nifi-docs/components/org.apache.nifi.processors.kafka.pubsub.PublishKafka/index.html