Spark流和高可用性

Question

我正在構建作用於多個流的Apache Spark應用程序。

我並閱讀文檔的性能調優部分： http://spark.apache.org/docs/latest/streaming-programming-guide.html#performance-tuning

我沒有得到的是：

1）位於多個工作節點的流媒體接收器或者是驅動程序的機器？

2）如果接收數據的節點中的一個出現故障，會發生什麼（電源關閉/重啓）

Answer 1

位於多個工作節點的流的接收器或是 驅動機

接收者位於工作人員節點上，這些節點負責保存數據的源的消耗。

如果接收數據的節點中的一個出現故障（電源關閉 /重啓）

接收機位於工作節點上會發生什麼情況。工作節點從驅動程序獲取它的任務。如果您在客戶端模式下運行，該驅動程序可以位於專用主服務器上，也可以在集羣模式下運行時位於其中一個工作者上。如果節點發生故障而不運行驅動程序，則驅動程序會將故障節點上保存的分區重新分配給另一個分區，然後該分區將能夠從源重新讀取數據，並執行額外的操作需要從失敗中恢復的處理。

這就是爲什麼需要重放源如Kafka或AWS Kinesis的原因。