誰在hadoop中分割文件？它是否是Job Tracker？

Question

當客戶端將數據存儲到hdfs時，我想知道 ，誰正在執行將大文件分割爲更小的塊的任務？ 客戶端是否直接將數據寫入DataNode？如果是這樣，那麼數據何時分裂爲64 MB或128 MB？

Answer 1

JobClient確實不是作業服務器

招聘客戶端計算輸入分割在位於輸入路徑 上運行的工作，而指定的HDFS的數據。該文章說，然後作業 客戶端將資源（罐子和計算輸入分割）複製到HDFS。

輸入本身依賴於羣集。客戶端僅計算從namenode獲得的元信息（塊大小，數據長度，塊位置）。這些computed輸入拆分將元信息攜帶到任務，例如，塊偏移量和要計算的長度。