如何在Apache Spark中加入兩個（或更多）流（JavaDStream）

Question

我們有一個消耗Gnip合規性流的Spark流應用程序。

在API的舊版本中，遵從性流由一個端點提供，但現在它由8個不同的端點提供。

我們可以用不同的參數運行8次相同的spark應用程序來消耗不同的端點。

火花流媒體中是否有一種方法消耗8個端點並將它們合併到一個應用程序中？

我們應該爲每個連接使用不同的流式上下文還是一個上下文就足夠了？

Answer 1

我認爲您在這裏尋找Spark union。

閱讀以下對實施例Concatenating datasets of different RDDs in Apache spark using scala

作爲每火花文檔火花聯合：

返回包含在 源數據集和參數的元素的並集的新數據集。