HtmlUnit拋出內存不足，也許泄漏內存

我使用Selenium和HtmlUnitDriver啓用javascript，並且出現內存不足錯誤（我使用Java）。我只是瀏覽同一頁面。我只使用一個GET命令。哪種解決方案可以克服這種情況？HtmlUnit拋出內存不足，也許泄漏內存

2011-09-23 edi66

您可能想要發佈更多詳細信息。如果在增加可用於JVM的內存之後仍然內存不足，則聽起來好像不能正確處理某些內容。 – prestomanifesto

我絕對同意你的看法。通過增加內存，你只會延遲內存不足錯誤。 –

通過添加這對啓動該JVM其中硒運行java命令行給多個存儲器到JVM：

-Xmx512m

這個例子給出最大的512 MB的JVM。

這取決於你從哪裏運行Selenium。如果是maven，可以將它添加到MAVEN_OPTS環境變量中，如果是Eclipse，則需要編輯測試類的運行配置等。

來源

2011-09-23 21:57:24 Bohemian

我試過這個..但只持續了幾個時間，直到內存不足......我絕對相信我會尋找另一個解決方案......謝謝 – edi66

我有類似的問題。它最終成爲自動加載幀的問題......一個無法禁用的功能。

看看這個：Extremely simple code not working in HtmlUnit

這可能會有幫助。

更新

的的HtmlUnit當前版本是2.10。我從2.8版開始使用HtmlUnit，每個新版本最終都吃掉了更多的內存。我得到了一個點，其中JavaScript啓用5個頁面導致2GB的過程。

從javascript的角度來看，有很多方法可以改善這種情況。但是，當你無法修改javascript（例如：如果你正在爬行一個網站）你的雙手被綁定。禁用JavaScript當然是最好的選擇。但是，這可能會導致提取的頁面與預期的頁面不同。

雖然我確實設法克服了這種情況。經過多次測試後，我注意到它可能不是HtmlUnit的問題（我認爲它是從一開始就有罪的）。它似乎是JVM。從Sun的JVM改爲OpenJDK的確有竅門，而現在不用吃2GB內存的過程只需要200MB。我正在添加版本信息。

Sun公司（Oracle）的32位JVM：

$java -version 
java version "1.6.0.26" 
Java(TM) SE Runtime Environment (build 1.6.0_26-b03) 
Java HotSpot(TM) Server VM (build 20.1-b02, mixed mode)

OpenJDK的32位JVM：

$java -version 
java version "1.6.0_18" 
OpenJDK Runtime Environment (IcedTea6 1.8.13) (6b18-1.8.13-0+squeeze2) 
OpenJDK Server VM (build 14.0-b16, mixed mode)

手術系統：

$ uname -a 
Linux vostro1015 2.6.32-5-686-bigmem #1 SMP Sun May 6 04:39:05 UTC 2012 i686 GNU/Linux

請分享這個你的經驗。

來源

2011-09-27 22:53:54

相關的的HtmlUnit：

不要忘記調用webClient.closeAllWindows();。我總是將它放在我使用web客戶端的區域周圍的finally區塊中。通過這種方式，可以確保所有JavaScript都停止並釋放所有資源。

ASLO有用的是設置爲webClient：

webClient.setJavaScriptTimeout(JAVASCRIPT_TIMOUT); 
    webClient.setTimeout(WEB_TIMEOUT); 
    webClient.setCssEnabled(false); // for most pages you do not need css to be enabled 
    webClient.setThrowExceptionOnScriptError(false); // I never want Exceptions because of javascript

JAVASCRIPT_TIMOUT應該不會太高長時間運行的JavaScript可能是內存問題的一個原因。 WEB_TIMEOUT想想多久你想等待最大。

來源

2013-01-08 08:42:37 MrSmith42

HtmlUnit拋出內存不足，也許泄漏內存

回答

相關問題