編碼Hive中的列

Question

我正在使用Sqoop將一個表從mysql導入配置單元。一些列是latin1編碼的。有沒有辦法做到這一點：

1. 在Hive中將這些列的編碼設置爲latin1。 OR
2. 使用sqoop導入時，將列轉換爲utf-8？

Answer 1

原來問題是無關的。該列工作正常，無論編碼...但在MySQL中表的模式已更改。我認爲，由於我傳遞覆蓋標誌，sqoop會在Hive中每次都重新創建表。並非如此！ mysql中的模式更改沒有傳送給Hive，因此md5列中的數據實際上來自不同列的數據。

我們解決的「修復」是，在每次sqoop導入檢查模式更改之前，如果發生更改，請刪除表並重新導入。這會強制Hive中的模式更新。

編輯：我原來sqoop命令是這樣的：

sqoop import --connect jdbc:mysql://HOST:PORT/DB --username USERNAME --password PASSWORD --table uploads --hive-table uploads --hive-import --hive-overwrite --split-by id --num-mappers 8 --hive-drop-import-delims --null-string '\\N' --null-non-string '\\N' 

但現在我手動發出drop table uploads如果架構更改第一蜂巢。

Answer 2

在Hive中--default-character-set用於設置整個數據庫的字符集，而不是特定於少數列。我無法找到Sqoop參數，該參數會將表格列轉換爲utf-8，而列預計將設置類型固定。

$ sqoop import --connect jdbc:mysql://server.foo.com/db --table bar \ 
--direct -- --default-character-set=latin1 

我相信你會需要Latin1的第一列轉換爲UTF-8在你的MySQL，然後你可以從Sqoop進口。您可以使用以下腳本將所有列轉換爲utf-8，其中我發現了here。

mysql --database=dbname -B -N -e "SHOW TABLES" | \ 
awk '{print "ALTER TABLE", $1, "CONVERT TO CHARACTER SET utf8 COLLATE \ 
utf8_general_ci;"}' | mysql --database=dbname &