2017-03-21 98 views
1

所以我試圖從impala導出數據到mysql與sqoop,這是由oozie job調度的。但是當第一個sqoop動作開始時,它停留在地圖100%,減少0%,所有其他動作都塞滿了。sqoop作業導出數據到mysql,卡住地圖100%,狀態正在運行

奇怪的是,在我殺死這個oozie作業之前,mysql中沒有數據,但是在我殺了它之後,數據出現在mysql表中(僅與第一個卡住的sqoop動作有關的表)。

這裏是我的導出腳本: enter image description here 而我的工作Oozie的動作如下顯示: the first running is the one stuck

而且沒有錯誤日誌存在。

+0

對於圖片感到抱歉,這是我第一次在這裏提出問題,似乎我無法再編輯它。 – john

回答

0

請檢查資源經理的日誌,你會發現那裏可能的錯誤。 您可以從資源管理器Web UI中查看日誌。 可能的錯誤可能是數據類型,數據類型字段寬度,格式(在日期或時間戳值的情況下)。

+0

是啊,我閱讀資源管理器日誌,並發現沒有error.But我發現有寫日誌是這樣的:appattempt_1490240402690_0020_000001狀態從SUBMITTED更改爲SCHEDULED。 這意味着map-reduce作業停留在SCHEDULED狀態。我想知道我的物理機器是否太差。一個機器上有4個內核和16G RAM的集羣,足以運行hadoop,yarn,hive,impala,sqoop?或者,也許我必須調整一些配置。 – john

相關問題