Hadoop：如何生成自定義減少輸出文件名？

Question

現在，我使用MultipuleOutputs。 我想從reducer的輸出文件名（如「xxxx- [r/m] -00001」）中刪除後綴字符串「-00001」。

有什麼想法嗎？

謝謝。

Answer 1

我認爲你可以在工作驅動程序上做到這一點。作業完成後，更改文件名稱。你也可以通過終端命令來完成。

Answer 2

從Hadoop javadoc to the write() method of MultipleOutputs：

輸出路徑是namedOutput生成的唯一文件。例如，{namedOutput} - （m | r） - {part-number}

因此您需要重新命名或合併HDFS上的這些文件。