內存使用情況隨着教條批量插入

Question

我試圖在使用Doctrine2和Symfony2夾具束的MySQL數據庫中插入大量數據（30 000+行）。我看着the right way to do it。我看到很多關於內存泄漏和主義的問題，但對我來說沒有令人滿意的答案。它經常出現Doctrine clear()函數。

所以，我做的這個各種形狀：

while (($data = getData()) { 
    $iteration++; 

    $obj = new EntityObject(); 
    $obj->setName('henry'); 
    // Fill object... 

    $manager->persist($obj); 

    if ($iteration % 500 == 0) { 
     $manager->flush(); 
     $manager->clear(); 

     // Also tried some sort of: 
     // $manager->clear($obj); 
     // $manager->detach($obj); 
     // gc_collect_cycles(); 
    } 
} 

PHP內存還是去野外，在flush()之後（我敢肯定的說）。實際上，每次刷新實體時，內存都會根據批量大小和實體的不同而有所增加，直到達到致命的允許的內存大小用盡錯誤。有一個非常小的實體，它可以工作，但內存消耗增加太多：幾MB，而它應該是KB。

clear(),detach()或調用GC似乎沒有任何效果。它只會清除一些KB。

我的方法有缺陷嗎？我錯過了什麼地方？這是一個錯誤嗎？

更多信息：

• 沒有flush()記憶幾乎沒有移動;
• 降低批次不會改變結果;
• 數據來自需要進行消毒的CSV;

EDIT（局部的溶液）：

@qooplmao帶來了解決方案，顯著減少內存消耗，禁用學說SQL記錄器：$manager->getConnection()->getConfiguration()->setSQLLogger(null);

然而，它仍然是異常高的和不斷增加。

Answer 1

我使用this resource解決了我的問題，正如@Axalix建議的那樣。

這是我修改了代碼：

// IMPORTANT - Disable the Doctrine SQL Logger 
$manager->getConnection()->getConfiguration()->setSQLLogger(null); 

// SUGGESION - make getData as a generator (using yield) to to save more memory. 
while ($data = getData()) { 
    $iteration++; 

    $obj = new EntityObject(); 
    $obj->setName('henry'); 
    // Fill object... 

    $manager->persist($obj); 

    // IMPORTANT - Temporary store entities (of course, must be defined first outside of the loop) 
    $tempObjets[] = $obj; 

    if ($iteration % 500 == 0) { 
    $manager->flush(); 

    // IMPORTANT - clean entities 
    foreach($tempObjets as $tempObject) { 
     $manager->detach($tempObject); 
    } 

    $tempObjets = null; 
    gc_enable(); 
    gc_collect_cycles(); 
    } 
} 

// Do not forget the last flush 
$manager->flush(); 

而且，最後但並非最不重要的，因爲我用這個腳本Symfony的數據燈具，在命令中加入--no-debug參數也是非常重要的。那麼內存消耗是穩定的。

Answer 2

我的建議是放棄批量插入的Doctrine方法。我真的很喜歡Doctrine，但我只是討厭這種散裝插入的東西。

MySQL有一個偉大的東西叫做LOAD DATA。我寧願使用它，或者即使我必須首先清理我的csv，然後執行LOAD。

如果您需要更改值，我會將csv讀取到數組$csvData = array_map("str_getcsv", file($csv));。在陣列上更改所需的任何內容並將其保存到行中。之後，使用新的.csv來加載MySQL。

爲了支持我爲什麼我不會在頂部描述的here中使用Doctrine的說法。