hadoop紗線資源管理

我有一個擁有10個節點的Hadoop集羣。在10個節點中，其中3個節點部署了HBase。有兩個應用程序共享該羣集。應用程序1從hadoop HDF寫入和讀取數據。應用程序2將數據存儲到HBase中。有沒有一種方法可以確保hadoop M/R作業按應用程序啓動 1不使用Hbase節點上的插槽？我只希望應用程序2啓動的Hbase M/R作業使用HBase節點。這需要確保有足夠的資源可用於應用程序2，以便HBase掃描速度非常快。hadoop紗線資源管理

有關如何實現此目的的任何建議？

來源

2014-04-05 Vijay

如果您在Yarn上運行HBase和您的應用程序，（HBase本身和MR Jobs的應用程序主控人員）可以請求數據節點上的最大可用資源。

您是否知道hortonworks項目Hoya =紗線上的HBase？

特別的特徵之一是：

，同時保持的HBase的低延遲的SLA

來源

2014-04-05 12:56:10 woopi

這是不是意味着我們要實現我們自己的應用程序母版，其中我們可以指定主機名運行MR工作？ – Vijay

如果Hbase的應用主服務器配置爲使用所有節點資源，則其他應用程序無法從資源管理器獲取這些節點上的資源。 – woopi

hadoop紗線資源管理

回答

相關問題