將數據從Mysql導入到Hbase時數據格式發生變化

Question

我正在使用sqoop將數據從Mysql導入到Hbase中。 它工作正常，但有一個問題。 當我從Sqoop文檔讀取時，sqoop將mysql數據轉換爲String，然後將其存儲在Hbase中。 但是這對我來說會有問題，因爲我將不得不將數據從Hbase導出回Mysql，屆時sqoop將如何推導出Hbase數據的數據類型信息？ 有人請幫忙解決這個問題。

Answer 1

你可以做的是 - 在導出時，只需將它導出到MySql端的臨時表中。那時數據類型將會不同。然後編寫一個查詢將它們從臨時表中插入到原始MySql表中，並在此期間過濾掉意外數據或轉換數據類型。

我遇到了非常類似於Hive中的timestamp數據類型的問題，我將它存儲爲bigint。在出口期間，我首先插入它們，因爲它是爲了使Sqoop導出工作。如果它成功的話，我運行一個查詢，實際將這些數據從臨時表加載到原始表，同時轉換數據。希望能幫助到你。