如何使用Spring DataFlow部署自治應用程序？

我的應用程序被配置爲從已配置的Kafka中讀取主題，然後將轉換後的結果寫入Hadoop HDFS。爲此，需要在Yarn羣集節點上啓動它。如何使用Spring DataFlow部署自治應用程序？

爲了做到這一點，我們希望使用Spring DataFlow。但是由於這個應用程序不需要來自其他流的任何輸入（它已經知道從哪裏抽取它的源），並且什麼也不輸出，我怎樣才能從它創建一個有效的DataFlow流？換句話說，這將是一個只包含一個應用程序的流，它應該無限期地在Yarn節點上運行。

在這種情況下，您需要一個連接到Kafka中的指定目標並寫入HDFS的流定義。

例如，流應該是這樣的：

stream create a1 --definition ":myKafkaTopic > hdfs"

您可以在此更多信息閱讀here。

2016-12-02 04:15:21

謝謝，我做了什麼來使它工作，因爲我沒有任何其他選擇。這裏的主題名稱是否真的很重要，因爲所有的都已經在應用程序中自行配置了？我應該更改應用程序的行爲以使用Sink作爲輸入，而不是直接在其中配置Kafka輪詢？ –

只要HDFS接收器應用程序使用'kafka'數據流綁定器，您不必做任何更改。主題名稱非常重要，如果您使用的是數據流，則無需在接收器應用程序中配置任何內容。 –

回答