需要轉換perl中的大csv文件

Question

csv數據文件總共爲3.2 GB，上帝知道有多少行和列（假設非常大）。該文件是針對個體羣體的具有SNP數據的基因組學數據。因此，csv文件包含諸如TD102230之類的ID和遺傳數據，例如A/A和A/T。

現在我使用了Text::CSV和Array::Transpose模塊，但似乎無法正確（如在計算集羣中凍結）。有沒有特定的模塊可以做到這一點？我是Perl新手（在低級編程方面沒有太多經驗，以前主要使用R和MATLAB），所以對這些詳細的解釋尤其歡迎！

Answer 1

直接回答，你應該逐行讀取文件中的行，處理他們Text::CSV，與join推和新的價值觀，每個陣列陣列對應於原始列，然後只輸出它們或希望得到原來的轉置表示。在join之後處理每個陣列也將幫助解決記憶問題。

將值寫入到外部文件而不是數組並將它們與OS設施結合是另一種解決內存需求的方法。

你也應該考慮爲什麼你需要這個。是否真的沒有更好的方法來解決手頭的真實任務，因爲轉移本身並沒有真正的目的？

Answer 2

將任務分解爲幾個步驟來節省內存。

1. 讀取一行並將字段寫入以行號命名的文件中。每場輸出一行。
2. 重複步驟1，直到輸入CSV文件耗盡。
3. 使用paste將所有輸出文件合併爲一個大文件。