處理限制爲一行的大csv文件

Question

所以在遇到內存限制後，我複製了the following code。

它工作得很好。我現在唯一的問題是在處理csv文件的情況下，結構限制基於塊的大小，但這意味着它可能會在中途切斷一行。

我能做些什麼來確保何時創建一個塊，它最終到達/ n。

Answer 1

你可以先嚐試設置內存限制：

ini_set('memory_limit', '32MB'); 

之後，在一次讀取一行：

$handle = fopen("inputfile.csv", "r"); 
if ($handle) { 
    while (($line = fgets($handle)) !== false) { 
     // process the line read. 
    } 
} else { 
    // error opening the file. 
} 
fclose($handle); 

基於您的代碼示例，這將給：

function file_get_contents_chunked($file,$chunk_size,$callback) 
{ 
    $handle = fopen($file, "r"); 
    $i = 0; 
    if ($handle) { 
     while (($line = fgets($handle)) !== false) { 
      call_user_func_array($callback,array($line,&$handle,$i)); 
      $i++; 
     } 
    } else { 
     return false; 
    } 
    fclose($handle); 
    return true; 
} 

請注意，$ chunk_size參數不再需要了...因此，如果需要，可以將其刪除。

也可以使用該功能來讀取由線SAV文件行：

fgetcsv(file,length,separator,enclosure); 

實施例1

<?php 
$file = fopen("contacts.csv","r"); 
print_r(fgetcsv($file)); 
fclose($file); 
?> 

CSV文件：

Kai Jim, Refsnes, Stavanger, Norway 
Hege, Refsnes, Stavanger, Norway 

的輸出以上代碼將爲：

Array 
(
[0] => Kai Jim 
[1] => Refsnes 
[2] => Stavanger 
[3] => Norway 
) 

Answer 2

我很想知道別人在做什麼。

我改變了限制，以基於一定數量的行來讀取，而不是大小限制。我沒有使用fread，而是使用fgets來獲得整條線。 再次，這一切都來自問題中鏈接的代碼。

<?php 
function file_get_contents_chunked($file,$chunk_size,$callback) 
{ 
    try 
    { 
     $handle = fopen($file, "r"); 
     $i = 0; 
     $x = 0; 

     $chunk = array(); 
     while (!feof($handle)) { 
      while ($row = fgets($handle)) { 
       // can parse further $row by usingstr_getcsv 
       $x ++; 
       $chunk[] = $row; 
       if ($x == $chunk_size) {   
        call_user_func_array($callback, array($chunk, &$handle, $i)); 
        unset($chunk); 
        $x = 0; 
       }   
      } 
     } 
     fclose($handle); 
    } 
    catch(Exception $e) 
    { 
     trigger_error("file_get_contents_chunked::" . $e->getMessage(),E_USER_NOTICE); 
     return false; 
    } 
    return true; 
} 

?> 

//修正了我的實際意圖，限制通過線的X量