Spark Streaming REST自定義接收器

Question

是否可以在Spark Streaming的自定義接收器中使用REST API？

我想能夠異步執行多個調用/讀取API，並使用Spark Streaming來執行此操作。

Answer 1

自定義接收器可以是任何異步生成數據的進程。通常，def receive()方法會向您的REST服務器發送異步請求，可能使用Futures和專用ThreadPool。未來的onCompletion，我們稱store(data)方法將結果給予Spark Streaming作業。 簡而言之，

• def onStart() =>創建管理異步請求響應處理過程
• def receive() =>連續做的I/O，並通過調用store(...)
• def onStop() =>停止報告結果該過程並清理onStart創建的內容。

有一個在custom receivers docs一個例子。