執行Sqoop進口後加入MySQL表到蜂巢表

Question

您好大師的嵌套JSON格式，

我們開始MySQL的數據遷移到NOSQLs，我們要遷移所有的表格格式數據嵌套JSON格式。 在某些情況下，我們將執行連接來獲取數據（應該保存爲嵌套數組或結構格式），那麼我們應該如何將這些數據嵌套到json格式中。我們需要對此提出建議。 我們正在嘗試用sqoop，hive，pig等hadoop工具的幫助來構建這個解決方案。

請您提出建議，我們可以實現這一目標的可能方式。

我們試着用下面sqoop導入命令： sqoop進口--username * --password * --connect '的jdbc：mysql的：//realstart.abc：3306/retail_db' --query「選擇訂單。 order_id，customers.customer_id AS「customers.customer_id」，customers.customer_fname AS「customers.customer_fname」FROM訂單LEFT JOIN客戶ON orders.order_order_id = customers.customer_id WHERE $ CONDITIONS'--hcatalog-database default --hcatalog-table命令--split-通過ORDER_ID

我們使用下面的查詢創建hcat表： hcat -e 「CREATE TABLE命令（ORDER_ID INT，客戶結構）行格式SERDE 'org.openx.data.jsonserde.JsonSerDe'」

但不知道如何在sqoop導入的--query中匹配hcat模式的模式。

感謝&問候，馬亨德拉

Answer 1

我認爲最好的辦法是使用Hadoop地圖降低課程和編寫自定義的工作，以創建嵌套的JSON輸出或從MySQL數據庫做dump和轉換數據。可以查看自定義作業文檔在Hadoop中或豬：

• http://joshualande.com/read-write-json-apache-pig
• A way to read table data from Mysql to Pig

我覺得沒有任何「準備使用」中Sqoop選項創建JSON輸出。