hadoop如何處理對從RDBMS攝取的行的更改

我有一種情況，即將數據從MYSQL數據庫中每天攝入hadoop到日期文件夾中。幾行將被每天編輯，並且可能還會有一些模式更改。如果我只對最新數據和模式感興趣，我們如何在Hadoop中處理此問題hadoop如何處理對從RDBMS攝取的行的更改

2013-04-11 rahul

Here是Sqoop中增量導入的文檔。此外，Sqoop可以在導入數據時使用表名，因此如果模式更改，Sqoop命令應該是相同的。

斌/ sqoop進口--connect的jdbc：mysql的：//本地主機/ bigdata --table部件-M 1

2013-04-11 03:31:05

而有利於新的數據，我們該如何處理它當有人在MySql中編輯過記錄？ – rahul 2013-04-11 14:06:06

Sqoop支持append和lastmodified。 – 2013-04-11 14:13:01

當您嘗試攝取的表格中存在帶時間戳的字段時，Sqoop僅支持「上次修改」選項。這真的是OP的問題的答案嗎？ – Havnar 2016-04-27 10:53:42

回答