2016-10-03 22 views
0

當我們用點燃運行maprreduce時,映射器輸出是否仍然寫入本地文件系統,即映射器輸出不會在內存中。因此,映射器端的本地文件系統上的I/O操作仍然存在?當我們用Apache點燃運行maprreduce時,映射器輸出是否仍寫入本地文件系統,即映射器輸出不會在內存中

+0

您正在運行Hadoop map-reduce還是Ignite的原生Compute Grid? –

+0

我正在使用使用IGFS的Apache Ignite的Hadoop加速器來運行map-reduce。 – lalit

回答

0

Hadoop將使用其配置文件中指定的文件系統。如果這個文件系統是IGFS,那麼一切都將寫在那裏。


UPDATE(從對應用戶線程http://apache-ignite-users.70518.x6.nabble.com/MapReduce-with-Apache-Ignite-td8007.html複製粘貼)。

當前映射器輸出僅存儲在內存中。我們正在研究溢出算法,並根據一些預先配置的閾值將其部分沖刷到磁盤。 按照作業日誌,Ignite目前不支持它們,這與Hadoop的做法相同。我們很快添加類似的功能。

+0

雖然Hadoop說使用HDFS,但映射器輸出寫入本地文件系統而不是HDFS,所以這個異常適用於Apache點火Hadoop? – lalit

+0

請幫我解答後續問題。 – lalit

+0

更新了回覆 –

相關問題