訪問循環中最後一次迭代的值的最佳方式

Question

在for循環中訪問以前迭代中的值的最好和最快的方法是什麼？假定對象將非常大（例如，一個遊標對象有超過10萬條記錄）使用

一個簡單的例子：

tmp = [ 
     ['xyz', 335], ['zzz', 338], ['yyy', 339], ['yyy', 442], 
     ['abc', 443], ['efg', 444], ['ttt', 446], ['fff', 447] 
     ] 

for x in tmp: 
    if not prev: 
    prev = x[1] 
    print 'seq: ', x[1], 'prev seq:', prev, 'variance: ', x[1]-prev 
    prev = x[1] 

這是處理這一最優化的方式？

基於響應下面我做了一些測試： TMP與500個列表創建，運行它20倍的平均如下所示。

結果：

礦業：0623
戴夫snippet1：0605
戴夫snippet2：0586
Catchmeifyoutry（編輯代碼）：0707

Answer 1

您的代碼將被做「，如果不是prev「每次循環測試，即使它只適用於第一個元素。 另外你的代碼似乎打破了我 - 第一次循環prev和當前值是相同的。

我會做這樣的，假設有至少一個元素：

tmp_iter = iter(tmp) 
[_, prev] = tmp_iter.next() 

for [_, x] in tmp_iter: 
    print 'seq: ', x, 'prev seq:', prev, 'variance: ', x-prev 
    prev = x 

我使用賦值：

tmp_iter = iter(tmp) 
prev = tmp_iter.next() 

for x in tmp_iter: 
    print 'seq: ', x[1], 'prev seq:', prev[1], 'variance: ', x[1]-prev[1] 
    prev = x 

這可以通過擺脫索引的進一步優化將列表吐出到其組成部分，並將第一個元素分配給_因爲它沒有被使用。

Answer 2

此代碼生成NameError，因爲在if not prev處，prev未定義。在循環之前將其設置爲False或None。您還可以做出不同的循環：

for i in xrange(1, len(tmp)): 
    print 'seq: {0}, prev seq: {1}, variance: {2}'.format(tmp[i][1], tmp[i - 1][1], tmp[i] - tmp[i - 1][1]) 

如果您將使用超過10萬條記錄，瓶頸將是不循環，而是由應用程序使用的內存。不要以這種格式存儲所有數據：每對值（列表）will eat 100+ bytes。如果他們是在一個文件中，這是更好地遍歷它的臺詞：

（假設數據是製表符分隔）

def reader(filename): 
    with open(filename) as f: 
     prev = f.next() 
     for l in f: 
      l = l.split('\t') 
      yield (prev, l) 
      prev = l 

for (prev, curr) in reader(myfile): 
    print 'seq: {0}, prev seq: {1}, variance: {2}'.format(curr[1], prev[1], curr[1] - prev[1]) 

reader是generator，它從一個序列多次返回值。這樣，任何時候只有2行數據將被存儲在內存中，並且您的應用程序將持續數百萬行。

爲了使代碼可讀，我把它放在一邊，以便在程序體中處理數據序列，而不必關心它是如何組成的。

Answer 3

只是迭代對，使用zip()，這是更具可讀性。

UPDATE： for python 2。x，請使用itertools.izip，因爲它更高效！

from itertools import izip 
for prev, next in izip(tmp, tmp[1:]): 
    print 'seq: ', next[1], 'prev seq:', prev[1], 'variance: ', next[1]-prev[1] 

也可以使用值拆包，以避免指數：

for (_, prev), (_, next) in izip(tmp, tmp[1:]): 
    print 'seq: ', next, 'prev seq:', prev, 'variance: ', next-prev 

或者，如果你真的需要在第一次迭代太

for prev, next in izip(tmp, tmp[:1] + tmp): 
    print 'seq: ', next[1], 'prev seq:', prev[1], 'variance: ', next[1]-prev[1] 

編輯

如果你想避免在第二個參數中創建一個列表還使用一個明確的迭代器：

itr = iter(tmp) 
itr.next() # here I assume tmp is not empty, otherwise an exception will be thrown 
for prev, next in izip(tmp, itr): 
    print 'seq: ', next[1], 'prev seq:', prev[1], 'variance: ', next[1]-prev[1] 

注：此壓縮模式是類似的問題有用的。 例如提取從列表中連續的三胞胎：

xs = range(9) 
triplets = zip(xs[::3], xs[1::3], xs[2::3]) # python 2.x, zip returns a list 

print xs  # [0, 1, 2, 3, 4, 5, 6, 7, 8] 
print triplets # [(0, 1, 2), (3, 4, 5), (6, 7, 8)] 

還要注意的是，在python 3 zip returns an iterator，類似itertools.izip。

Answer 4

it = imap(operator.itemgetter(1), tmp) # get all 2nd items 
prev = next(it, None) # get 1st element (doesn't throw exception for empty `tmp`) 
for x in it: 
    print 'seq: %s prev seq: %s variance: %s' % (x, prev, x-prev) 
    prev = x 

Answer 5

使用itertools：

from itertools import izip, islice 
for prev, cur in izip(l, islice(l, 1, None)): 
    print 'seq:', cur[1], 'prev seq:', prev[1], 'delta:', cur[1]-prev[1] 

對於在問題中給出的特定示例中，注意的是，如果數字 可以使用32位整數來表示，並且號碼列表配合到 內存的計算差異最快的方法之一將是 使用numpy：

import numpy 
a = numpy.array([x[1] for x in tmp]) 
delta = numpy.diff(a) 

Answer 6

Guido的時間機器來拯救！

從itertools recipes頁：

import itertools 
def pairwise(iterable): 
    "s -> (s0,s1), (s1,s2), (s2, s3), ..." 
    a, b = itertools.tee(iterable) 
    next(b, None) 
    return itertools.izip(a, b) 

這應該是最合適的方法（考慮迭代是(random.randint(100) for x in xrange(1000));這裏iter(iterable); next(iterable)作爲輔助迭代器可能無法提供正確的功能

在使用它的。循環爲：

for prev_item, item in pairwise(iterable): 
    …