HBase sqoop導入凍結

Question

在cloudera集羣上： 我試過在HBase中成功導入一個100k行的mysql表。 現在我試圖導入一個264M行postgre表。起初，我讓默認數量的映射器（沒有「-m」選項），但是，在35或100行之後，sqoop作業的控制檯給了我這個錯誤：「org.apache.hadoop.client.RetriesExhaustedWithDetails：Failed XXX actions：servers with問題：XXXXXXXXXXXXX「在完美運行的計算機上，我的所有服務都在Cloudera上呈現綠色。 爲了避免這種情況，我嘗試設置一個映射器（「-m 1」）。沒有更多的錯誤，但在100-110行之後，sqoop停止添加新行，並且cloudera的日誌中沒有任何內容......我試圖讓導入連續運行3天。 有些信息：我讓sqoop選擇了行ID。原始表格是3列鍵（用varchars）。 我想我有一些配置錯誤，但我不知道哪一個...

Answer 1

好吧，我想通了。 Hbase根據表的3個主鍵之一獲取默認的單個鍵。結果是：它使用相同的第一個主鍵在前一行重寫。它不凍結。我現在已經指定了他必須使用哪些列來存儲在HBase中。