有什麼用-Xmx控制由映射器使用的最大內存和Reduce任務的設置mapred.job.map.memory.mb和mapred.child.java.opts之間的區別?哪一個優先?不同方式
Q
不同方式
9
A
回答
14
-Xmx
指定分配的jvm的最大堆空間。這是爲對象分配保留的空間,由garbage collector管理。另一方面,mapred.job.map.memory.mb
指定Hadoop任務子進程允許的最大virtual memory。如果超過最大堆大小,JVM將引發OutOfMemoryException。
JVM可能會使用比最大堆大小更多的內存,因爲它還需要空間來存儲對象定義(permgen空間)和堆棧。如果該進程使用比mapred.job.map.memory.mb
更多的虛擬內存,它會被hadoop殺死。
所以一個不優先於其他(與他們衡量內存使用情況的不同方面),但-Xmx
是JVM的一個參數,mapred.job.map.memory.mb
是硬上限虛擬內存的任務可以嘗試使用,由hadoop執行。
希望這有幫助,記憶複雜!我目前困惑的是爲什麼我的JVM進程在my SO post的虛擬內存中使用最大堆大小的幾倍。
相關問題
- 1. 不同方式
- 2. 不同方式
- 3. 不同方式
- 4. 不同方式
- 5. 不同方式對在Django
- 6. 不同OnClickListener實施方式
- 7. 以不同的方式
- 8. 不同方式在jQuery的
- 9. 不同方式別名列
- 10. 總和同一列不同的方式
- 11. ios從不同類調用方法的不同方式
- 12. rails不同的方式定義方法
- 13. 以不同的方式格式化md5sum?
- 14. 兩種方法,做同樣的事情,用不同的方式
- 15. 傳遞相同參數時方法執行的方式不同
- 16. 以不同的方式寫查詢同樣的方法
- 17. 用戶界面模式:相同對象,顯示方式不同
- 18. 的樣式同一div兩種略有不同的方式
- 19. 以不同方式使用排序函數的方式?
- 20. 聰明的方式使相同的程序集以不同的方式執行?
- 21. 不同的初始化方式
- 22. 如何以不同的方式
- 23. 綁定popstate事件的不同方式
- 24. 以不同方式顯示div /部分
- 25. 查詢EF 4的不同方式?
- 26. 不同的方式膨脹佈局
- 27. 不同的方式來推動
- 28. Cherrypy處理請求的方式不同
- 29. 命名函數的不同方式?
- 30. Android不同的方式做onClick
嗨。這會如何影響非java自定義映射器/縮減器任務?有沒有辦法限制自定義映射器/ reducer腳本的內存分配? –