在忙碌時正在寫hadoop集羣運行map reducer作業

Question

我知道Hadoop具有公平調度程序，我們可以將作業分配給某個優先級組，並根據優先級將作業分配給作業。我不確定的以及我要問的是，Hadoop集羣如何優先處理非映射紅色程序。具體來說，Hadoop在羣集忙於運行映射紅色作業時，如何通過外部客戶端向Hadoop寫入數據（如直接打開HDFS文件並將流式數據發送給它的某個獨立程序）將被Hadoop優先處理。

Answer 1

資源管理器只能優先考慮提交給它的作業（如MapReduce應用程序，Spark作業等）。

除了distcp，HDFS操作只與NameNode和Datanodes交互，而不是與資源管理器交互，因此它們將由NameNode按收到的順序處理。