如何使用sqoop工具

實際上執行增量負載，我有我的Teradata表中的數據。我使用sqoop-import命令將該teradata表數據sqooped到Hive中。如何使用sqoop工具

但是，我的Teradata表將得到每天的基礎上的數據。因此，需要將新添加的數據sqoop，即從teradata增量數據轉換爲Hive表。

任何人都可以請建議我一些解決方案來實現這一目標？

來源

2017-06-01 dev333

你能否解釋一下，你想incremente每日蜂巢表？ –

Teradata表中是否有某種插入/更新時間戳？ – Andrew

如果你有類似的行ID /時間戳在表中的任何列，那麼你可以使用：

--incremental [mode] --last-value [value] --check-column [col]

如果您對此有一個保存的作業，你可以跳過--last-value，因爲它會自動進行維護。

--incremental [mode]有兩種模式。 lastmodified和append，您可以根據您的要求使用任何一種。

來源

2017-06-01 17:57:18 vmorusu

...並確保仔細閱讀Sqoop指南，章12至14 https://sqoop.apache.org/docs/1.4.6/SqoopUserGuide.html#_saved_jobs >>和思考的那句話：_「通過默認情況下，作業描述保存到存儲在'$ HOME/.sqoop /'「_（即在特定節點的本地磁盤上）的私有存儲庫中_」您可以將Sqoop配置爲使用共享的Metastore ...「 –

如何使用sqoop工具

回答

相關問題