使用大數據

我有一個約6000萬行的文件。我正在嘗試編寫一個需要不斷查詢文件以查找名稱列表信息的腳本。文件中的每一行都包含一個名稱，後跟相關的信息。我試圖建立一個字典，但文件太大了。
我搜索了一堆論壇，並聽到許多人建議SQlite for python-我只是想知道，在我開始學習SQlite之前，有誰知道這是否對這個大小的文件有幫助？謝謝使用大數據

來源

2014-04-02 user2906979

使用'numpy'從中獲取信息文件。 –

numpy可以存儲那麼多信息嗎？ – user2906979

線條有多大？所需的內存量是行長度和記錄數量的函數。 –

你可以使用Linux Power工具。 Awk可以很輕鬆地完成你的工作。

假設你的文件看起來像這樣

name1 a b c 

name2 e d r t 

name3 x y

，你想找到名2信息。然後使用這個命令你可以找到

awk -F" " -v name=name2 '{if(name==$1){$1=""; print $0}}' filename

將只輸出這樣

e d r t

名2的信息，您可以通過多個名稱和管理邏輯

來源

2014-04-02 12:00:24

謝謝我試試這個 – user2906979

你可以在一個文件中編寫你的腳本並使用-f選項調用該文件。 awk -f script_filename input_filename –

回答

相關問題