解析文件以獲得唯一行的首次出現

Question

我需要解析一個大文件（超過500 MB）並獲取唯一行。事實上，我需要第一次出現獨特的線條。

當我的RAM有限時，能否請您提出有效的方法來完成此操作？

Answer 1

使用散列。他們是重複數據刪除數據的典型方式：

my %data; 
while (<$fh>) { 
    .... # other code 
    $data{$key} //= $value; 
} 

的定義，或賦值運算符//=是做等價的：

if (not defined $data{$key}) { 
    $data{$key} = $value; 
} 

這意味着只有這關鍵的第一個值被保存。

請注意，帶散列的重複數據刪除僅適用於完全相同的字符串。

Answer 2

使用散列來跟蹤您已經看到的行。

my %seen; 
while (<$fh>) { 
    next if $seen{$_}++;  # duplicate 
    ... 
}