impala分區< or >條件

Question

我有2TB的手機記錄，約有180億用戶的330億讀數。 我已經在用戶標識上創建了一個分區。 Impala創建了許多子目錄userid=XXXXX。 這似乎是與180萬個子分區分區。有沒有辦法必須有一個範圍或數組數組的分區？

Answer 1

當前Impala沒有任何範圍分區。因此，您需要在表中的不同列上進行分區，以創建更少的分區。或者作爲解決方法，您可以在表中添加一個額外的列，該列存儲每個記錄所需的指定範圍，然後在「範圍」列中進行分區。示例：您有一個字段爲user_id = 1234的記錄，然後該字段的範圍user_range = 0_100000的字段可用於分區。