查找重複的文件名，並且僅使用python

Question

我也+20 000文件，看起來像這樣的下面，都在同一個目錄下保存最新的文件：

8003825.pdf 
8003825.tif 
8006826.tif 

怎樣才能找到所有重複的文件名，而忽略文件擴展名。

說明：我指的是一個副本，即具有相同文件名的文件，而忽略文件擴展名。我做不照顧，如果該文件是不是100％相同（例如HASHSIZE或類似的東西。）

例如：

"8003825" appears twice 

然後看每個重複文件的元數據，並且只保留最新的一個。

這個帖子類似：

Keep latest file and delete all other

我想我必須創建所有文件的列表，檢查文件是否已經存在。如果是這樣，那麼使用os.stat來確定修改日期？

我有點擔心加載所有這些文件名到內存中。而且不知道是否有辦事更Python的方式...

的Python 2.6 Windows 7的

Answer 1

你可以用O(n)複雜做到這一點。具有sort的解決方案具有O(n*log(n))複雜性。

import os 
from collections import namedtuple 

directory = #file directory 
os.chdir(directory) 

newest_files = {} 
Entry = namedtuple('Entry',['date','file_name']) 

for file_name in os.listdir(directory): 
    name,ext = os.path.splitext(file_name) 
    cashed_file = newest_files.get(name) 
    this_file_date = os.path.getmtime(file_name) 
    if cashed_file is None: 
     newest_files[name] = Entry(this_file_date,file_name) 
    else: 
     if this_file_date > cashed_file.date: #replace with the newer one 
      newest_files[name] = Entry(this_file_date,file_name) 

newest_files是具有不帶擴展名與持有文件的完整文件名和修改日期命名的元組的值的鍵文件名的dictonary。如果遇到的新文件位於字典中，則將其日期與存儲在字典中的日期進行比較，並在必要時進行替換。

最後你有一個包含最新文件的字典。

然後，您可以使用此列表執行第二遍。請注意，字典中的查找複雜度爲O(1)。因此查看字典中所有n文件的整體複雜度爲O(n)。

例如，如果你想只留下最新的文件具有相同的名稱，並刪除其他的，這可以通過以下方式獲得：

for file_name in os.listdir(directory): 
    name,ext = os.path.splitext(file_name) 
    cashed_file_name = newest_files.get(name).file_name 
    if file_name != cashed_file_name: #it's not the newest with this name 
     os.remove(file_name) 

---

至於建議的Blckknght在評論中，你甚至可以避免第二遍，並刪除舊文件，只要加入一行代碼：

else: 
     if this_file_date > cashed_file.date: #replace with the newer one 
      newest_files[name] = Entry(this_file_date,file_name) 
      os.remove(cashed_file.file_name) #this line added 

Answer 2

首先，獲取文件名列表，並對其進行排序。這將把任何重複的東西放在一起。

然後，剝離文件擴展名並與鄰居比較，os.path.splitext()和itertools.groupby()在此處可能會有用。

一旦你分組了重複，選擇一個你想繼續使用os.stat()。

最終你的代碼可能看起來是這樣的：

import os, itertools 

files = os.listdir(base_directory) 
files.sort() 
for k, g in itertools.groupby(files, lambda f: os.path.splitext(f)[0]): 
    dups = list(g) 
    if len(dups) > 1: 
     # figure out which file(s) to remove 

你不應該在這裏擔心內存，你看一對夫婦兆字節的數量級上的東西。

Answer 3

對於文件名計數器，你可以使用一個defaultdict存儲每個文件出現了多少次：

​​