java.lang.OutOfMemoryError：超出GC開銷限制

Question

我在一個程序中創建了幾個（數十萬個）HashMap對象，每個對象都有幾個（15-20）個文本項。這些字符串在提交到數據庫之前都已收集（沒有分解成更小的數量）。

根據Sun的說法，錯誤發生在「如果在垃圾收集中花費了太多時間：如果超過總時間的98％花在垃圾收集上，並且小於2％的堆被恢復，OutOfMemoryError將被拋出。「

顯然，可以使用命令行參數傳遞給JVM爲

• 增加堆大小，經由「-Xmx1024m」（或更多），或
• 完全禁用錯誤校驗，通過「-XX：-UseGCOverheadLimit」。

第一種方法工作正常，第二種方法在另一個java.lang.OutOfMemoryError中結束，這次是關於堆。

因此，問題：對於特定的用例（即幾個小型的HashMap對象），是否有任何程序化的替代方案？例如，如果我使用HashMap clear（）方法，問題就會消失，但存儲在HashMap中的數據也會消失！ :-)

這個問題也是在related topic in StackOverflow.

Answer 1

你基本上運行內存流暢運行過程中進行討論。

1. 指定更多的內存就像你提到的，嘗試一些在-Xmx512m之間像第一
2. 工作與HashMap對象的小批量如果你有很多東西需要一次如果可能的話
3. 處理：浮現在腦海中的選項重複字符串，用他們String.intern()將它們放入了HashMap
4. 使用HashMap(int initialCapacity, float loadFactor)構造函數來調整你的情況之前

Answer 2

嗯......你要麼需要：

1. 重新考慮你的算法&數據結構，使得它並不需要所有這些小HashMaps這樣。

2. 創建一個門面，允許您根據需要對這些HashMaps進行內存進出。簡單的LRU緩存可能就是票證。

3. 增加可供JVM使用的內存。如果有必要，即使購買更多內存可能是最快的，最便宜的解決方案，如果你有託管這個野獸的機器的管理。話雖如此：我通常不是「投入更多硬件」解決方案的粉絲，特別是如果在合理的時間範圍內可以考慮替代的算法解決方案。如果你不斷投入更多的硬件來解決這些問題，你很快就會遇到收益遞減的規律。

你究竟想要做什麼？我懷疑你的實際問題有更好的方法。

Answer 3

如果您要創建數十萬個哈希映射，那麼您可能使用的遠遠超過實際需要;除非您使用大型文件或圖形，否則存儲簡單數據不應超出Java內存限制。

你應該嘗試重新思考你的算法。在這種情況下，我會提供更多有關該主題的幫助，但在提供有關問題背景的更多信息之前，我無法提供任何信息。

Answer 4

爲了記錄，我們今天有同樣的問題。我們通過使用這個選項來修復它：

-XX:-UseConcMarkSweepGC 

顯然，這個修改了用於垃圾收集的策略，導致問題消失。

Answer 5

@takrl：該選項的默認設置是：

java -XX:+UseConcMarkSweepGC 

這意味着，這個選項是默認情況下不活躍。所以，當你說你使用的選項 「+XX:UseConcMarkSweepGC」 我假設你正在使用的語法如下：

java -XX:+UseConcMarkSweepGC 

這意味着你明確地激活這個選項。 對於@這個 document

Answer 6

幫我擺脫這種的Java HotSpot VM Options正確的語法和默認設置error.This選項禁用 -XX：+ DisableExplicitGC

Answer 7

使用替代HashMap的實現（Trove）。標準的Java HashMap具有> 12倍的內存開銷。 人們可以閱讀詳細信息here。

Answer 8

在錯誤的情況下：

"Internal compiler error: java.lang.OutOfMemoryError: GC overhead limit exceeded at java.lang.AbstractStringBuilder"

增加Java堆空間爲2GB，即-Xmx2g.

Answer 9

整個結構不存儲在內存中，同時等待到達終點。

將中間結果寫入數據庫中的臨時表而不是hashmaps--在功能上，數據庫表等同於一個散列表，即既支持對數據的鍵控訪問，也不支持內存綁定，因此使用索引這裏的表格而不是hashmaps。

如果做得正確，你的算法甚至不應該注意到改變 - 正確的意思是使用一個類來表示表，甚至給它一個put（key，value）和一個get（key）方法就像一個hashmap 。

當中間表完成時，從中生成所需的sql語句而不是內存。

Answer 10

如果在垃圾收集中花費了太多時間，並行收集器將拋出OutOfMemoryError。特別是，如果超過98％的時間用於垃圾回收，並且只有不到2％的堆被回收，將會拋出OutOfMemoryError。此功能旨在防止應用程序長時間運行，而由於堆太小，因此很少或沒有進度。如有必要，可以通過在命令行中添加選項-XX:-UseGCOverheadLimit來禁用此功能。

Answer 11

以下爲我工作。只需添加下面的代碼片段：

dexOptions { 
     javaMaxHeapSize "4g" 
} 

要將build.gradle：

android { 
    compileSdkVersion 23 
    buildToolsVersion '23.0.1' 

    defaultConfig { 
     applicationId "yourpackage" 
     minSdkVersion 14 
     targetSdkVersion 23 
     versionCode 1 
     versionName "1.0" 

     multiDexEnabled true 
    } 

    buildTypes { 
     release { 
      minifyEnabled false 
      proguardFiles getDefaultProguardFile('proguard-android.txt'), 'proguard-rules.pro' 
     } 
    } 

    packagingOptions { 

    } 

    dexOptions { 
     javaMaxHeapSize "4g" 
    } 
} 

Answer 12

對於我來說，增加使用-Xmx選項內存是解決辦法。

我有一個10g的文件在Java中讀取，每次我得到相同的錯誤。當top命令中的RES列中的值達到-Xmx選項中設置的值時發生這種情況。然後通過增加內存使用-Xmx選項一切都很好。

還有一點。當我在我的用戶帳戶中設置JAVA_OPTS或CATALINA_OPTS並再次增加內存量時，我得到了同樣的錯誤。然後，我在代碼中輸出了這些環境變量的值，這些變量賦予了我設置的不同值。原因是Tomcat是這個過程的根源，然後因爲我不是傻瓜，我讓管理員增加Tomcat中catalina.sh的內存。

Answer 13

修復內存泄漏與輪廓工具幫助像Eclipse MAT或VisualVM

隨着JDK 1.7.x或更高版本的應用程序，使用G1GC，其垃圾回收花費10％不同於其他GC算法2％。

除了設置堆內存與-Xms1g -Xmx2g，嘗試`

-XX:+UseG1GC 
-XX:G1HeapRegionSize=n, 
-XX:MaxGCPauseMillis=m, 
-XX:ParallelGCThreads=n, 
-XX:ConcGCThreads=n` 

看一看oracle文章微調這些參數。

在SE相關G1GC一些問題：

Java 7 (JDK 7) garbage collection and documentation on G1

Java G1 garbage collection in production

Agressive garbage collector strategy

Answer 14

你需要增加JDeveloper中的內存大小去的setDomainEnv.cmd。

set WLS_HOME=%WL_HOME%\server 
set XMS_SUN_64BIT=256 
set XMS_SUN_32BIT=256 
set XMX_SUN_64BIT=3072 
set XMX_SUN_32BIT=3072 
set XMS_JROCKIT_64BIT=256 
set XMS_JROCKIT_32BIT=256 
set XMX_JROCKIT_64BIT=1024 
set XMX_JROCKIT_32BIT=1024 

if "%JAVA_VENDOR%"=="Sun" (
    set WLS_MEM_ARGS_64BIT=-Xms256m -Xmx512m 
    set WLS_MEM_ARGS_32BIT=-Xms256m -Xmx512m 
) else (
    set WLS_MEM_ARGS_64BIT=-Xms512m -Xmx512m 
    set WLS_MEM_ARGS_32BIT=-Xms512m -Xmx512m 
) 
and 

set MEM_PERM_SIZE_64BIT=-XX:PermSize=256m 
set MEM_PERM_SIZE_32BIT=-XX:PermSize=256m 

if "%JAVA_USE_64BIT%"=="true" (
    set MEM_PERM_SIZE=%MEM_PERM_SIZE_64BIT% 

) else (
    set MEM_PERM_SIZE=%MEM_PERM_SIZE_32BIT% 
) 

set MEM_MAX_PERM_SIZE_64BIT=-XX:MaxPermSize=1024m 
set MEM_MAX_PERM_SIZE_32BIT=-XX:MaxPermSize=1024m 

Answer 15

如果你有java8，並且可以使用G1垃圾收集，然後運行你的應用程序：

-XX:+UseG1GC -XX:+UseStringDeduplication 

這告訴G1找到類似的字符串，只保留一個它們在內存中，而其他的只是指向內存中該字符串的指針。

當你有很多重複的字符串時，這很有用。此解決方案可能或不可行，並取決於每個應用程序。

更多信息上：
https://blog.codecentric.de/en/2014/08/string-deduplication-new-feature-java-8-update-20-2/ http://java-performance.info/java-string-deduplication/

Answer 16

對於下面這段代碼在使用你的應用程序文件的gradle關閉的android下。

dexOptions { javaMaxHeapSize 「4G」 }