hadoop fair scheduler打開文件錯誤？

Question

我測試作業分配公平調度模式，但是我得到這樣的錯誤 產生java.io.IOException：不能運行程序「打擊」：java.io.IOException異常：錯誤= 24，打開的文件太多

谷歌後，他們大多會告訴檢查有多少文件目前在系統中打開（通過Unix命令LSF），以及該數字如何與您的系統限制相關（通過bash命令ulimit -n檢查）。在我看來，增加一次打開文件的最大數量是短期解決方案。

有沒有辦法避免這種情況？

Answer 1

你的系統是深遠的＃（最大打開的文件）的限制的事實，你可能需要檢查：

1. 多少其他操作都在系統上運行？
2. 他們是否嚴重打開許多文件？
3. 您的hadoop工作本身是否嚴重打開許多文件？
4. 系統上＃（最大打開文件）的當前限制是否太小？ （你可以谷歌的典型值）。如果它太小，請考慮增加它

我認爲增加＃（最大打開文件）限制將生效。從長遠來看，如果＃1，＃2和＃3沒有解決，您可能會再次遇到這個問題。