從MySQL到S3加載一個沒有數字ID的非常大的表格

Question

我試圖用MYSQL向S3抽取（用Sqoop）一個大表（500GB的大小約200M行）。但是，該表沒有數字鍵列。

它有一個3列組合主鍵。我觀察到sqoop不能均勻地分塊數據集，因爲ID在最小值和最大值之間不均勻分佈。 sqoop中的憤怒查詢無法正常工作，因爲該列未被編入索引。

有沒有更好的方法來做到這一點與sqoop或任何其他技術？

P.S.我試圖將數據輸出爲AVRO文件

Answer 1

如果您有一個具有多列鍵的表，則需要使用--split-by參數使用不同的列手動指定範圍。 Sqoop不支持多列。