如何逐行讀取大文件

Question

如何在PHP中逐行讀取文件，而不將其完全加載到內存中？

我的文件太大，無法在內存中打開，所以我總是有內存耗盡錯誤。

文件大小爲1 GB。

Answer 1

可以使用fgets()功能通過線來讀取文件行：

$handle = fopen("inputfile.txt", "r"); 
if ($handle) { 
    while (($line = fgets($handle)) !== false) { 
     // process the line read. 
    } 

    fclose($handle); 
} else { 
    // error opening the file. 
} 

Answer 2

if ($file = fopen("file.txt", "r")) { 
    while(!feof($file)) { 
     $line = fgets($file); 
     # do same stuff with the $line 
    } 
    fclose($file); 
} 

Answer 3

使用緩衝技術來讀取文件。

$filename = "test.txt"; 
$source_file = fopen($filename, "r") or die("Couldn't open $filename"); 
while (!feof($source_file)) { 
    $buffer = fread($source_file, 4096); // use a buffer of 4KB 
    $buffer = str_replace($old,$new,$buffer); 
    /// 
} 

Answer 4

需小心，「而（！FEOF ...與fgets（）」的東西，與fgets可以得到一個錯誤（returnfing假）和循環永遠沒有達到文件的末尾。codaddict是最接近於正確的但是當你的「而與fgets」循環結束時，檢查FEOF;如果不是真的，那麼你有一個錯誤

Answer 5

函數讀取與陣列回報

function read_file($filename = ''){ 
    $buffer = array(); 
    $source_file = fopen($filename, "r") or die("Couldn't open $filename"); 
    while (!feof($source_file)) { 
     $buffer[] = fread($source_file, 4096); // use a buffer of 4KB 
    } 
    return $buffer; 
} 

Answer 6

您可以使用面向對象的接口類的文件 - SplFileObjecthttp://php.net/manual/en/splfileobject.fgets.php（PHP 5> = 5.1.0）

<?php 

$file = new SplFileObject("file.txt"); 

// Loop until we reach the end of the file. 
while (!$file->eof()) { 
    // Echo one line from the file. 
    echo $file->fgets(); 
} 

// Unset the file to call __destruct(), closing the file handle. 
$file = null; 

Answer 7

有一個file()函數，返回包含在文件中的線的陣列。

foreach(file('myfile.txt') as $line) { 
    echo $line. "\n"; 
} 

Answer 8

這個問題的一個流行的解決方案將有新的行字符的問題。用簡單的str_replace就可以很容易地修復它。

$handle = fopen("some_file.txt", "r"); 
if ($handle) { 
    while (($line = fgets($handle)) !== false) { 
     $line = str_replace("\n", "", $line); 
    } 
    fclose($handle); 
} 

Answer 9

foreach (new SplFileObject(__FILE__) as $line) { 
    echo $line; 
} 

Answer 10

如果你打開一個大文件，你可能想使用旁邊與fgets發電機（），以避免加載整個文件到內存：

/** 
* @return Generator 
*/ 
$fileData = function() { 
    $file = fopen(__DIR__ . '/file.txt', 'r'); 

    if (!$file) 
     die('file does not exist or cannot be opened'); 

    while (($line = fgets($file)) !== false) { 
     yield $line; 
    } 

    fclose($file); 
}; 

使用方法如下：

foreach ($fileData() as $line) { 
    // $line contains current line 
} 

這樣，您可以處理foreach（）中的單個文件行。

注：發電機需要> = 5.5 PHP

Answer 11

這我如何與非常大的文件（具有高達100G測試）管理。並且它比fgets更快（）

$block =1024*1024;//1MB or counld be any higher than HDD block_size*2 
if($fh = fopen("file.txt", "r")){ 
      $left=''; 
    while (!feof($fh)) {// read the file 
     $temp = fread($fh, $block); 
     $fgetslines = explode("\n",$temp); 
     $fgetslines[0]=$left.$fgetslines[0]; 
     if(!feof($fh))$left = array_pop($lines);   
     foreach($fgetslines as $k => $line){ 
      //do smth with $line 
     } 
    } 
} 
fclose($fh); 

Answer 12

SplFileObject在處理大文件時非常有用。

function parse_file($filename) 
{ 
    try { 
     $file = new SplFileObject($filename); 
    } catch (LogicException $exception) { 
     die('SplFileObject : '.$exception->getMessage()); 
    } 
    while ($file->valid()) { 
     $line = $file->fgets(); 
     //do something with $line 
    } 

    //don't forget to free the file handle. 
    $file = null; 
}