用Impala處理龐大的數據集

Question

我對Impala和一些傳統的SQL數據庫系統有一個普遍的問題。我聽說Impala可以從字面上理解某些SQL語句，並將數十億行的表格（例如，帶有重複行的連接語句可能發生的情況）吐出。作爲一個更狹窄的例子，假設我運行「SELECT * FROM database」之類的東西。就直接控制檯輸出而言，我知道大多數傳統SQL數據庫在達到1000個條目的限制時將停止運行。 Impala也是如此嗎？換句話說，如果我在Impala中運行「SELECT * FROM database」，它理論上是在做更多的工作，即使它最終會吐出有限數量的行嗎？

Answer 1

我認爲這取決於你用來做什麼查詢。如果您只是在Bash或Impala shell的命令行中運行，它將獲取所有結果，但是如果您使用Hue，它將按照您所描述的方式對結果進行翻頁。實際上，對於任何數據庫也是如此，如果您使用GUI來訪問它，您可以像導出到csv命令一樣運行以獲得完整的結果集，或者如果以編程方式訪問，則可以使用fetchall()。