Cloudera Impala的內存配置

Question

我正在使用Impala，並且我知道impala在內存中處理它。我已經搜索了Impala配置選項的列表，但是我還沒有找到關於這方面的全面文檔，特別是有關內存/堆的文檔。 Impala有這樣的設置嗎？還是它依賴於hdfs/datanode堆空間？我知道你可以用-mem_limit來限制黑斑羚的內存使用，但我想更好地理解這是如何完成的。

Answer 1

從Impala 1.4.0發佈版（包含在CDH 5.1.0中）開始，Impala在查詢處理期間同時使用內存和磁盤。要了解更多關於如何控制黑斑羚的使用內存，我建議你閱讀過Cloudera documentation on Impala，尤其是：

• Using YARN Resource Management with Impala
• Using HDFS Caching with Impala
• Modifying Impala Startup Options

你會發現關於如何的更多信息配置Impala內存使用的許多方面，包括與HDFS緩存和Hadoop YARN（通過Llama）的集成。有關HDFS緩存的更多信息，請參見Andrew Wang and Colin McCabe's presentation from Hadoop Summit 2014。有關美洲駝的更多信息，請參見Henry Robinson's presentation from Hadoop World NYC 2013。