Hadoop中的RDMS數據歸檔

Question

我們正在探索將倉庫或RDMS中的數據歸檔到Hadoop的選項。

事實上，我必須使用sqoop將數據加載到HDFS並可能需要壓縮它。然後刪除要歸檔的行。

問題是當我有兩個表之間的外鍵關係。我需要維護表之間的數據一致性。請幫助我的方法。

Answer 1

幸運的是我可以使用Sqoop API找到解決方案。我觸發了一個連接查詢來從子表中選擇數據，然後從父表中選擇數據。我已經使用Sqoop API編寫了Java程序中的所有邏輯。