Amazon Elastic Map Reduce：作業流失敗，因爲輸出文件尚未生成

Question

我有一個Amazon EMR作業流程執行三個任務，第一個輸出是輸入到後續兩個任務。第二個任務的輸出由第三個任務DistributedCache使用。

我創建了工作流完全在EMR網站（控制檯），而是因爲它找不到分佈式緩存文件集羣立即失敗 - 因爲它尚未被步驟＃1中創建。

是我通過自舉操作來創建從CLI這些步驟，並指定--wait-for-steps選項唯一的選擇？看起來很奇怪，我不能執行一個任務的輸入依賴於另一個任務的輸出的多步驟工作流程。

Answer 1

在我身邊這讓通過創建一個自舉，但沒有步驟亞馬遜EMR集羣結束。然後，我將SSH連接到了控制檯上，並運行了hadoop作業。

我現在可以靈活地將它們添加到每個作業具有單獨配置選項的腳本中。