非mapreduce應用程序如何在YARN中工作？

Question

通過使用YARN，我們可以運行非mapreduce應用程序。

但它是如何工作的？

在HDFS中，所有都存儲在塊中。對於每個塊，一個映射器任務將獲得創建來處理整個數據集。

但是非mapreduce應用程序，它將如何處理不同數據節點中的數據集而不使用mapreduce？

請解釋一下。

Answer 1

不要將Map reduce範例與Spark等其他應用程序混淆。 Spark可以在Yarn下運行，但不使用映射器或縮減器。

相反，它使用執行程序，這些執行程序知道數據域，與mapreduce的方式相同。

Spark驅動程序將啓動數據節點上的執行程序，並會在嘗試保持數據局部性的同時記住數據節點。

也不要混淆Map Reduce默認行爲與標準行爲。你不需要需要每個輸入分割有1個映射器。

另外HDFS和Map Reduce是兩回事。 HDFS只是存儲層，而Map Reduce則處理處理。