Avro RPC/Storm集成

Question

我有一個現有的Avro RPC客戶端，它將數據發送到Avro RPC服務器。 Avro RPC服務器當前將數據寫入HDFS（並執行其他操作）。我們正在改變我們的服務器流程，以Storm爲基礎。我希望找到一種簡單的方法將我的數據導入Storm，希望能夠使用我現在擁有的Avro RPC消息。

我一直在尋找一種方法來做到這一點，迄今沒有成功。 Storm有一個RPC模型，但它似乎僅限於傳遞字符串，這是我想避免的（爲什麼我首先去了Avro）。 Zeromq可能是一種可能性，但似乎僅限於我正在嘗試做的事情。

有人可以建議一個優雅的方式讓我的Avro RPC，基於模式的數據進入暴風影音？

謝謝！

Answer 1

所以......還沒有想出一種方法直接做到這一點...但我們想出的解決方案是一個Storm回調程序，它會要求Avro RPC提供數據。所以，基本上我們切換了客戶端/服務器關係。似乎運作良好。