保留一個列表，以防止在Python中重複效率

Question

我遇到了一些包含一些重複ID的csv數據源的問題。但最終的結果應該只有一次ID。因此，我們決定只採取我們所看到的第一個例子，而忽略其他任何情況。

目前我的代碼是升技這樣的：

id_list = list() 
for item in datasource: 
    if item[0] not in id_list: 
     #process 
     id_list.append(item[0]) 

的問題是，當名單不斷增加，性能下降。我想知道是否有更有效的方式來跟蹤已處理的ID？

Answer 1

使用set對象，集保證沒有重複，並提供快速的會員資格測試。您可以使用set這樣

id_list = set() 
for item in datasource: 
    if item[0] not in id_list: 
     # process 
     id_list.add(item[0]) 

這將是更好的，因爲在set對象的查找會在constant time發生，而不是在linear time lookup in lists。

Answer 2

除了使用列表，您可以使用由ID排序的二叉搜索樹。

Answer 3

參考this question，我會建議使用的字典。

特別是，唯一鍵的情況似乎是適當的。

然後，您可以嘗試類似：

if key not in dict: 
    [insert values in dict]