我有一個文件至極擁有約12米永線快速路,每條線路是這樣的:到行/行號添加到文本文件
0701648016480002020000002030300000200907242058CRLF
什麼我想要完成的是在數據之前添加行號,數字應具有固定的長度。
這個背後的想法是能夠將該文件批量插入到SQLServer表中,然後使用它執行某些操作,要求每行都有唯一的標識符。我已經在數據庫端嘗試過這樣做了,但是我還沒有能夠完成一個好的性能(至少在4以下,而在1以下是理想的)。
現在我正在嘗試在python中看起來像這樣的解決方案。
file=open('file.cas', 'r')
lines=file.readlines()
file.close()
text = ['%d %s' % (i, line) for i, line in enumerate(lines)]
output = open("output.cas","w")
output.writelines(str("".join(text)))
output.close()
我不知道這是否會工作,但它會幫助具有它將如何執行和副作用之前,我一直在嘗試新事物的想法,我也想過用C做這樣我有更好的內存控制。
它是否有助於以低級語言進行操作?有誰知道更好的方式來做到這一點,我很確定它已經完成,但我一直無法找到任何東西。
謝謝
你有沒有試過把一小塊數據(可能是100行)複製到臨時文件並測試你的解決方案? – Jason 2009-08-13 19:59:07
先試一下小樣本.cas文件。不要浪費時間重複複製1200萬行。 – mcandre 2009-08-13 19:59:46
每行是固定大小嗎?如果是這樣,只是存儲器映射文件,並將您的位置設置爲計算出的偏移量 – hova 2009-08-13 20:01:13