如何使用命令行選項控制Hadoop任務重試策略？

Question

我想使用命令行選項來控制Hadoop作業重試策略。例如，我想寫出下列Sqoop工作，有它可以容錯到MySQL中斷：

sqoop 
    GENERIC_SQOOP_OPTIONS 
    -Dmap.retry.exponentialBackOff=TRUE 
    -Dmap.retry.numRetries=10 

對於一般的Hadoop作業時，它可能看起來像：

hadoop job -submit 
    GENERIC_JOB_OPTIONS 
    -Dmap.retry.exponentialBackOff=TRUE 
    -Dmap.retry.numRetries=10 

Answer 1

是，Sqoop支持hadoop「-D」參數。然而，他們在命令行上的位置至關重要。他們必須直接經過「sqoop」和之前的任何其他Sqoop參數存在：

sqoop -Dmap.retry.exponentialBackOff=TRUE -Dmap.retry.numRetries=10 import --connect ... 

請注意按預期不同的定位將無法正常工作。