如何使用shell腳本編寫Sqoop作業

每天小時表在mysql db中被創建。我需要使用Sqoop每天將它們移動到HDFS，並使用Impala處理HDFS數據。

如何編寫一個shell腳本或作業才能將新創建的表數據定期移動到HDFS（現有文件系統）？

今天說的是2016年1月3日，當我今天運行我的工作，然後2016年1月2日的數據應該從mysql遷移到HDFS，就像每天的廣泛它應該移動前一天的數據。每日我需要在此HDFS集羣上運行我的Impala查詢並生成報告。
如何使用Impala處理整個數據並生成報告？

來源

2016-01-13 Rahul Chintakunta

Sqoop支持增量導入：http://sqoop.apache.org/docs/1.4.6/SqoopUserGuide.html#_incremental_imports

Sqoop-import可以使用上次修改的時間戳，或總是增加的行ID來決定導入哪些行。您需要提供一個--last-value參數。您可以將最後一個值存儲在作業之間，也可以在運行作業之前從Impala數據庫中檢索它。

來源

2016-02-07 01:05:59

最好的方法是獲取帶有2個參數的shell腳本。 1將是該表的名稱，另一個將是hdfs路徑，因爲這些將是您場景中唯一改變的2個因素。以下是您可以放入.sh並以bash運行的示例腳本。

 

    !/bin/bash 

    TABLENAME=${^^1} 
    HDFSPATH=${^^2} 
    NOW=$(date +"%m-%d-%Y-%H-%M-%S") 

    sqoop --import --connect jdbc:db2://mystsrem:60000/SCHEMA \ 
    --username username \ 
    --password-file password \ 
    --query "select * from ${TABLENAME} \$CONDITIONS" \ 
    -m 1 \ 
    --delete-target-dir \ 
    --target-dir ${HDFSPATH} \ 
    --fetch-size 30000 \ 
    --class-name ${TABLENAME} \ 
    --fields-terminated-by '\01' \ 
    --lines-terminated-by '\n' \ 
    --escaped-by '\' \ 
    --verbose &> logonly/${TABLENAME}_import_${NOW}.log

可選：如果您需要導入蜂巢表

--hive降，進口delims \ --hive進口\ --hive覆寫\ --hive -table HiveSchema。$ {TABLENAME}

來源

2016-02-11 19:26:42

如何使用shell腳本編寫Sqoop作業

回答

相關問題