根據常見詞的出現對csv數據進行排序

Question

我有一個來自csv文件的大數據，其格式如下所示。

url1, comment1 
url2, comment2 

我需要找到註釋之間的常用詞，並根據每行上出現的常見詞進行排序。

目前我能夠獲得常用詞彙，但我失去了如何在不耗盡內存的情況下對每個常用詞彙進行排序。

下面是我非常低效的代碼。

$data = array(); 
while (($row = fgetcsv($fh, 1024, ',')) !== false) { 
    $data[] = $row[1]; 
} 

$str = preg_replace('/\s\s+/', ' ', trim(str_replace(array('!', '?', '.', ','), ' ', implode('', $data)))); 

$words = explode(" ", $str); 
var_dump(array_count_values($words)); 

Answer 1

負載分解數據/字到數據庫聽起來是個好主意，

OR你可以試試這個：

$summary = array(); 
$data = array(); 
while (($row = fgetcsv($fh, 1024, ',')) !== false) 
{ 
    $data[] = $row[1]; 
    $str = preg_replace('/\s\s+/', ' ', trim(str_replace(array('!', '?', '.', ','), ' ', $row[1]))); 
    $words = explode(" ", $str); 
    foreach ($words as $word) 
    { 
    $word = strtolower($word); // lowercase to reduce variations 
    $summary[$word]++; 
    } 
} 
/* variable $summary will contains all your count */ 
/* take note on the size of $summary, could growth quite big */