當sc.textfile被使用時，它是驅動程序還是工作人員讀取文本文件？

Question

我想知道如何在Spark中使用sc.textfile。我的猜測是，驅動程序一次讀取文件的一部分，並將讀取的文本分發給工作人員進行處理。或者是工作人員在沒有司機的參與的情況下直接從文件中讀取文本？

Answer 1

驅動程序查看文件元數據 - 檢查它是否存在，檢查目錄中的文件是否是目錄，並檢查它們的大小。然後它將任務發送給實際閱讀文件內容的工作人員。通信基本上是「你讀這個文件，從這個偏移量開始，這個長度。」

HDFS將大文件分割成塊，並且spark會（通常/經常）根據塊來分割任務，因此跳過該偏移量的過程將非常有效。

其他文件系統往往操作類似，但並不總是如此。如果編解碼器不可拆分，壓縮也可能會混淆此過程。

Answer 2

textfile創建RDD，如ref提到：可以使用SparkContext的文本文件的方法來創建

文本文件RDDS。

也有這樣一個字條：

如果使用本地文件系統的路徑，文件也必須在 工作器節點上相同的路徑訪問。將文件複製到 所有工作人員或使用網絡安裝的共享文件系統。

這意味着您對驅動程序解析文件然後將數據分發給從服務器的猜測是錯誤的。