使用Sqoop將數據添加到配置單元表

Question

我試圖將數據追加到已存在的hive表中。先使用以下命令將表從MS-SQL Server導入配置單元。

Sqoop命令：
sqoop import --connect "jdbc:sqlserver://XXX.XX.XX.XX;databaseName=mydatabase" --table "my_table" --where "Batch_Id > 100" --username myuser --password mypassword --hive-import

現在我想將數據以相同的現有表追加在蜂房其中 「BATCH_ID < 100」 我使用下面的命令：

sqoop import --connect "jdbc:sqlserver://XXX.XX.XX.XX;databaseName=mydatabase" --table "my_table" --where "Batch_Id < 100" --username myuser --password mypassword --append --hive-table my_table

但是，此命令成功運行也會更新HDFS數據，但是當您連接到配置單元外殼並查詢該表時，附加的記錄不可見。 Sqoop更新了hdfs 「/ user/hduser/my_table」上的數據，但「」/ user/hive/warehouse/batch_dim「上的數據未更新。

如何解決此問題。

問候， Bhagwant Bhobe

Answer 1

你使用（--import）的Sqoop命令只對攝入記錄到HDFS。您需要使用--hive-import標誌將記錄導入到Hive中。

有關更多詳細信息和其他導入配置選項（當然，您可能希望將文檔引用更改爲您的Sqoop版本），請參閱http://sqoop.apache.org/docs/1.4.2/SqoopUserGuide.html#_importing_data_into_hive。

Answer 2

使用

sqoop import --connect "jdbc:sqlserver://XXX.XX.XX.XX;databaseName=mydatabase" 
       --table "my_table" --where "Batch_Id < 100" 
       --username myuser --password mypassword 
       --hive-import --hive-table my_table 

當您使用--hive-import切勿使用--append參數嘗試。