2015-06-26 55 views
0

我有一張包含百萬條記錄的表。我想執行一個配置單元查詢,並希望將結果集以塊的形式返回給客戶端。就像在第一個客戶端請求獲取結果時說的那樣,我想返回前1000個記錄,然後在後續請求中返回下1000個記錄等等。 一種方法是,我在執行hive查詢時獲取完整的結果集並保存並根據客戶端的請求迭代結果集。但是,如果我的結果集非常龐大,那麼它可能會在將完整結果集保存在內存中的同時創建內存不足問題。從配置單元獲取同一個配置單元查詢的數據

是否有可能從配置單元中獲取相同的配置單元查詢的數據塊?根據我的探索,我發現配置單元不支持分頁,並且每次我都無法在配置單元中使用限制子句執行查詢,因爲配置單元的文檔說限制子句隨機選擇記錄。

我正在使用JDBC進行配置單元查詢執行。 JDBC中是否提供了可以與配置單元一起使用的解決方案? 還有其他方法可以解決這個用例嗎?

在此先感謝。

回答

0

下面僅僅是一種替代方法:

讓您的蜂巢表分時段和使用的是獨一無二的,在一個範圍內由田集羣有值的列或cloumns。由於您通過數據使用集羣,因此將對其進行全局排序並進行分發,因此您始終可以使用這些列作爲篩選條件執行選擇查詢。

以上只是一個建議。希望它有幫助