如何在縮減階段工作時啓動映射階段

Question

我有這種情況。 JobA和JobB。是否有機會使用JobA reduce階段提供的數據啓動JobB映射階段，但仍然有效？

謝謝！

Answer 1

我唯一想到的就是擁有一個永久檢查JobA輸出目錄的線程（開始在驅動程序類中）。 當一個（部分）部分r-xxxx文件被創建並完全寫入時，你可以開始JobB作爲特定（一組）部分r-xxxx文件的輸入。

我現在可以識別的唯一問題是與檢查part-r-xxxx文件是否完全寫入有關的唯一問題。