在Python中首先讀取一個文件的N行

Question

我們有一個大的原始數據文件，我們希望修剪到指定的大小。 我在.net c＃中經驗豐富，但是想在python中這樣做來簡化事情並且不感興趣。

我該如何去獲取Python中的文本文件的前N行？ 正在使用的操作系統是否會影響實施？

謝謝:)

Answer 1

with open("datafile") as myfile: 
    head = [next(myfile) for x in xrange(N)] 
print head 

這裏的另一種方式

from itertools import islice 
with open("datafile") as myfile: 
    head = list(islice(myfile, N)) 
print head 

Answer 2

沒有讀通過的文件對象公開的行數具體方法。

我想最簡單的方法是以下幾點：

lines =[] 
with open(file_name) as f: 
    lines.extend(f.readline() for i in xrange(N)) 

Answer 3

如果你想要的東西，明明（頭也不擡的手冊深奧的東西）作品，未經進口和try/except和工作在一個合理範圍內的Python 2.x的版本（2.2至2.6）：基於gnibbler

def headn(file_name, n): 
    """Like *x head -N command""" 
    result = [] 
    nlines = 0 
    assert n >= 1 
    for line in open(file_name): 
     result.append(line) 
     nlines += 1 
     if nlines >= n: 
      break 
    return result 

if __name__ == "__main__": 
    import sys 
    rval = headn(sys.argv[1], int(sys.argv[2])) 
    print rval 
    print len(rval) 

Answer 4

N=10 
f=open("file") 
for i in range(N): 
    line=f.next().strip() 
    print line 
f.close() 

Answer 5

（在0:27 11月20日'09）頂級投回答：這個類添加頭（）和尾（）方法文件ob JECT。

class File(file): 
    def head(self, lines_2find=1): 
     self.seek(0)       #Rewind file 
     return [self.next() for x in xrange(lines_2find)] 

    def tail(self, lines_2find=1): 
     self.seek(0, 2)       #go to end of file 
     bytes_in_file = self.tell()    
     lines_found, total_bytes_scanned = 0, 0 
     while (lines_2find+1 > lines_found and 
       bytes_in_file > total_bytes_scanned): 
      byte_block = min(1024, bytes_in_file-total_bytes_scanned) 
      self.seek(-(byte_block+total_bytes_scanned), 2) 
      total_bytes_scanned += byte_block 
      lines_found += self.read(1024).count('\n') 
     self.seek(-total_bytes_scanned, 2) 
     line_list = list(self.readlines()) 
     return line_list[-lines_2find:] 

用法：

f = File('path/to/file', 'r') 
f.head(3) 
f.tail(3) 

Answer 6

我自己最方便易方式：

LINE_COUNT = 3 
print [s for (i, s) in enumerate(open('test.txt')) if i < LINE_COUNT] 

解決方案基於List Comprehension 的open（）函數支持迭代接口。枚舉（）覆蓋open（）並返回元組（index，item），然後檢查我們是否在可接受的範圍內（如果我是<LINE_COUNT），然後只是打印結果。

享受Python。 ;）

Answer 7

從Python 2.6開始，您可以利用IO基類中更復雜的函數。

Answer 8

如果你想

with open("datafile") as myfile: 
     head = myfile.readlines(N) 
    print head 

（你不必擔心有小於N行，因爲沒有StopIteration異常被拋出您的文件。）：所以上面的最精彩的答案可以改寫成快速讀取第一行，並且不關心可以使用.readlines()的性能，它將返回列表對象，然後對列表進行分片。

E.g.前5行：

with open("pathofmyfileandfileandname") as myfile: 
    firstNlines=myfile.readlines()[0:5] #put here the interval you want 

注：整個文件被讀取，以便爲不是從視圖性能上來說最好的，但它 很容易使用，快速編寫和易於要記住，所以如果你只想執行 一些一次性的計算非常方便

print firstNlines 

Answer 9

如果你有一個非常大的文件，和地設想明你想輸出是一個numpy數組，使用np.genfromtxt會凍結你的計算機。這是如此在我的經驗要好得多：

def load_big_file(fname,maxrows): 
'''only works for well-formed text file of space-separated doubles''' 

rows = [] # unknown number of lines, so use list 

with open(fname) as f: 
    j=0   
    for line in f: 
     if j==maxrows: 
      break 
     else: 
      line = [float(s) for s in line.split()] 
      rows.append(np.array(line, dtype = np.double)) 
      j+=1 
return np.vstack(rows) # convert list of vectors to array 

Answer 10

對於前5行，簡單地做：

N=5 
with open("data_file", "r") as file: 
    for i in range(N): 
     print file.next() 

Answer 11

我要做的就是打電話給使用pandas的N行。我覺得性能不是最好的，但例如，如果N=1000：

import pandas as pd 
yourfile = pd.read('path/to/your/file.csv',nrows=1000) 

Answer 12

#!/usr/bin/python 

import subprocess 

p = subprocess.Popen(["tail", "-n 3", "passlist"], stdout=subprocess.PIPE) 

output, err = p.communicate() 

print output 

此方法有效，我

Answer 13

兩個這樣做的最直觀的方式將是：

1. 對文件逐行進行迭代，並在N之後對break行進行迭代。

2. 使用next()方法N次，逐行對文件進行迭代。 （這基本上是隻爲最多的回答做什麼不同的語法。）

下面是代碼：

# Method 1: 
with open("fileName", "r") as f: 
    counter = 0 
    for line in f: 
     print line 
     counter += 1 
     if counter == N: break 

# Method 2: 
with open("fileName", "r") as f: 
    for i in xrange(N): 
     line = f.next() 
     print line 

的底線是，只要你不使用readlines()或將整個文件存入內存中，您有很多選擇。