從製表符分隔的值中刪除某些返回字符文件

Question

我在工作中遇到了一個問題，需要我在PostgreSQL數據庫中插入一些MASSIVE製表符分隔值文件（將8-15 GB的.txt文件考慮在內），但是我數據格式化的方式首先遇到了問題。基本上，我們獲得數據的方式（不幸的是我們無法以更好的格式獲取數據），出現一些反斜槓並導致返回/換行。

所以，有幾行（數據行，tab-delim）被切分成多行，其中第n行的最後一個字符是\，並且第n + 1行的第一個字符是一個製表符。通常n行會被分成1-3行（例如，行n以「\」結尾，行n + 1和n + 2以製表符開頭並以「\」結尾，行n + 3開始帶有一個標籤）。

我需要編寫一個腳本，可以與這些巨大的文件（這將運行在具有192 GB的RAM的Linux服務器上運行）尋找以製表符開頭的行，然後刪除返回（和「 \「無論它存在於何處）並保存文本文件。

回顧一下，客戶的日誌記錄程序將原始行N拆分爲行n，n + 1，有時n + 2和n + 3（具體取決於行N中出現多少個\字符），我需要寫一個python腳本來重建原始的線N.

Answer 1

這是基於@ user665637的很好的答案。

#!/usr/bin/python 

import re, sys 

pat_incomplete = re.compile(r'\\\s*$') 
pat_indented = re.compile(r'^\t') 

try: 
    _, fname_in, fname_out = sys.argv 
except ValueError: 
    print("Usage: python line_joiner.py <input_filename> <output_filename>") 
    sys.exit(1) 

with open(fname_in) as in_f, open(fname_out, "w") as out_f: 
    lines = iter(in_f) 
    try: 
     line = next(lines) 
     s = pat_incomplete.sub('', line) 
    except StopIteration: 
     print("Input file did not contain any data") 
     sys.exit(2) 

    for line in lines: 
     line = pat_incomplete.sub('', line) 
     if pat_indented.match(line): 
      s += pat_indented.sub('',line) 
     else: 
      out_f.write(s) 
      s = line 
    out_f.write(s) 

變化：

• 使用 「原始字符串」 正則表達式，它們更容易閱讀。

• 從命令行參數中獲取輸出文件名並寫入該文件。打印消息並退出，如果用戶提供的參數數量錯誤。當我們解壓sys.argv以獲得參數時，我們使用變量名稱_作爲我們不關心的部分。

• 不去掉行結尾，所以輸出文件將具有與輸入文件相同的行尾。 （當加入線時，它當然會剝離線端以進行連接。）

• 不會從輸入中濾除空行。這有點棘手，但通過迭代器並調用next()，它在啓動循環之前獲得第一個輸入行;因此s從有效值開始而不是None開始，我們不必每次測試它是否打印它。原始if lastLine:測試在被剝離的輸入行上不僅會保護None的初始值lastLine，而且還會過濾輸入中的所有空行。

• 如果你必須在Python 3.0或Python 2中使用它。6，您不能有一個with聲明，它會執行兩個open()調用;但您可以將它變成兩個嵌套的with語句，每個語句都會執行一個open()。

Answer 2

不受任何替換 「\ n」 個序列：

In [20]: a="blabla\tblabla\tblabla\\\n\tblabla\tblabla" 

In [21]: print(a) 
blabla blabla blabla\ 
    blabla blabla 

In [22]: a=a.replace('\\\n', '') 

In [23]: print(a) 
blabla blabla blabla blabla blabla 

:)

Answer 3

#!/usr/bin/python 

import re,sys 

lastLine = None 
incomplete = re.compile("\\\\+$") 
indented = re.compile("^\\t") 

for line in open(sys.argv[1]): 
    line = line.rstrip() 
    line = incomplete.sub("", line) 
    if indented.match(line): 
     lastLine += indented.sub("",line) 
    else: 
     if lastLine: 
      print lastLine 
      lastLine = None 
     lastLine = line 

print lastLine 

基本上，我忽略了\在自選項卡結束在下一行告訴你，無論如何這是一個延續。