當我們用點燃運行maprreduce時,映射器輸出是否仍然寫入本地文件系統,即映射器輸出不會在內存中。因此,映射器端的本地文件系統上的I/O操作仍然存在?當我們用Apache點燃運行maprreduce時,映射器輸出是否仍寫入本地文件系統,即映射器輸出不會在內存中
0
A
回答
0
Hadoop將使用其配置文件中指定的文件系統。如果這個文件系統是IGFS,那麼一切都將寫在那裏。
UPDATE(從對應用戶線程http://apache-ignite-users.70518.x6.nabble.com/MapReduce-with-Apache-Ignite-td8007.html複製粘貼)。
當前映射器輸出僅存儲在內存中。我們正在研究溢出算法,並根據一些預先配置的閾值將其部分沖刷到磁盤。 按照作業日誌,Ignite目前不支持它們,這與Hadoop的做法相同。我們很快添加類似的功能。
相關問題
- 1. Hadoop:映射器是否並行運行當我們使用NLineInputFormat?
- 2. 映射器何時將其輸出存儲到本地硬盤?
- 3. 文件系統 - 內存映射文件
- 4. DynamoDB映射器「batchLoad()」輸入
- 5. 當源中不存在屬性時自動映射器映射
- 6. GPU - 系統內存映射
- 7. '輸入/輸出'端口如何映射到內存中?
- 8. 減速器不選擇映射器輸出文件
- 9. 將Hashmap作爲輸入映射到映射器而不是文件
- 10. 'SUM()' 中的輸出映射
- 11. 如何使本地文件系統的映射寫在Hadoop中
- 12. 我的映射器輸入和減速器輸出是相同的
- 13. 寫入內存映射文件比非內存映射文件慢
- 14. 內存映射文件 - 映射結構而不是文件?
- 15. 發送到HDFS的還原器的輸出,映射輸出存儲在數據節點本地磁盤中?
- 16. 系統復位時的內存映射
- 17. hadoop過濾映射輸出
- 18. F#將已映射的輸入寫入輸出
- 19. Windows映射文件系統
- 20. 從Hadoop中的映射器生成多個輸出文件MapReduce
- 21. 內存映射輸出流產生一個輸出文件,尾隨零
- 22. 映射成輸入到輸出的散列表?這個函數是否存在?
- 23. 不要映射器存儲它的中間輸出上所運行數據節點的內存?
- 24. 映射器輸入鍵值對Hadoop中
- 25. FPGA器件內存映射寄存器
- 26. 在映射器中寫入自定義對象時出錯
- 27. Hadoop返回映射器的輸出而不是reducer
- 28. HADOOP - 作爲映射器輸出產生的輸出文件的數量
- 29. Growing Boost.Interprocess內存映射文件與單個寫入器
- 30. 如何在映射後寫入輸出文件(這是全局的)
您正在運行Hadoop map-reduce還是Ignite的原生Compute Grid? –
我正在使用使用IGFS的Apache Ignite的Hadoop加速器來運行map-reduce。 – lalit