Hadoop輸入拆分轉儲

當某個特定任務失敗時，我們是否可以獲取運行此任務的輸入拆分轉儲，以便我們可以在輸入和遠程調試的該部分上本地運行作業？Hadoop輸入拆分轉儲

2014-07-17 user2023507

您可以在映射器的設置中寫入關於輸入分割的信息。 FileInputFormat的示例：

@Override 
    protected void setup(Context context) throws IOException, InterruptedException { 
     FileSplit inputSplit = (FileSplit) context.getInputSplit(); 
     System.out.println(inputSplit.toString()); 
    }

來源

2014-07-17 08:32:23

這是否會給hdfs上的split的物理位置？我們可以將其複製到本地文件系統，然後將其發送到開箱以進行遠程調試？ – user2023507

這將打印類似'hdfs：// server：port/path/to/file/in/hdfs：0 + 1000'，其中0 + 1000 - 分割的開始和結束位置。 –

Hadoop輸入拆分轉儲

回答

相關問題