我正在爲文件中的字段應用某些轉換規則的文件構建轉換邏輯。這種變換規則的例子是:某些字段Perl轉換邏輯 - 文件處理或數據庫
- 設置缺省值,如果它們是空的(如果第5欄是空的,將其設置爲「空」)
- 基於某些列總結文件(如果文件有COL1,COL2和COL3,總結文件聚集COL3所有COL1)
- 在某些領域替換字符串(以 「AY」 全部替換 「開刀」,在COL1)
- 等等
從性能角度,當d在大文件上執行這些轉換,最好使用純文件處理(逐行讀取文件,使用散列進行彙總,對其他轉換使用正則表達式等),或者將數據加載到數據庫表中,然後彙總並應用所有轉換邏輯並將其下載迴文件?
例如聚合的:
原始文件具有:
A | B | C | 100 | 200 | 300
A | B | C | 200 | 100 | 0
A | X | C | 100 | 100 | 100
轉化文件具有:
A | B | 300 | 300 | 300
A | X | 100 | 100 | 100
您能澄清一下col3的內容是什麼嗎? col3在每一行都是一樣的嗎?如果你改變了一行,它會改變另一行的col3嗎? – Tim 2011-02-16 23:07:00
是的,所以規則將適用於每一行中的所有col3值。 – Chris 2011-02-16 23:35:36