2016-12-01 64 views
0

下面是sqoop工作我已創建如何查看sqoop作業中的增量更新值?

sqoop job --create sqoop_incremental_job -- import --connect jdbc:mysql://quickstart.cloudera:3306/retail_db --username retail_dba --password cloudera --table categories --target-dir /user/cloudera/sqoop_incremental_job_categories --incremental append --check-column category_id --last-value 10 -m 1 

例如:最後一個值給出10

現在我在MySQL的每一次增加新的記錄跑sqoop工作2次,所以,該增量將執行附加到HDFS中的現有數據。

的問題是如何在最後值是越來越更新每次當我運行使用sqoop job --exec sqoop_incremental_job的工作,我怎麼能每次看到更新後的值當我運行作業???

回答

1

或者如果日誌丟失。使用下面的命令

sqoop job --show <jobname> - 它會列出所有的職業

參考

incremental.last.value性能 - 這將包含執行的增量作業的最新值。

它將每次當我們運行通過sqoop job --exec <jobname>

1

按sqoop docs

如果增量導入是從保存的作業運行,該值將在保存的作業被保留。後續運行的sqoop job --exec someIncrementalJob將繼續僅導入比先前導入的行更新的行。

對於最後看到-value,

如果增量導入從命令行中運行,這應該在後續增量導入被指定爲--last-value值將被打印在屏幕上你參考。

+0

工作將在屏幕的參考打印更新。或者,我們也可以使用sqoop作業查看該值--show 。它將列出作業incremental.last.value的屬性 - 每次運行增量作業時它都會更新。 – Raja

+0

@Raj感謝您的信息。 –