1. 首頁
  2. 問答
  3. Sqoop進口蜂巢ORC

Sqoop進口蜂巢ORC

2017-04-25 78 views
-1

所有，Sqoop進口蜂巢ORC

我有sqooping問題，我sqooping左右爲一個表數據的2TB，然後需要寫ORC表機智h上。什麼是實現

1）sqoop Dir1中的所有文本數據和寫HQL加載到ORC表，其中的腳本在卡盤和處理失敗的頂點問題

2）sqoop數據並追加到蜂巢表最好的方法（你有沒有這樣做呢？）

3）sqoop蜂巢進口寫所有的數據蜂巢ORC表

這是最好的辦法嗎？

來源

2017-04-25 freakabhi

+0

請問Google。 SO不是推薦網站！ –

回答

0

選項三會更好，因爲您不需要創建配置單元表並再次將數據加載到該表中並以orc格式存儲該數據，這對於2tb數據來說是一個漫長的過程，因此它最好在sqoop中給出，以便它可以直接將數據推送到採用orc格式的配置單元表中，但是當您將配置單元表中的數據返回給rdbms時，必須使用sqoopserde

來源

2017-04-27 10:46:27 overflow

相關問題

 相關問題