掃描文件名重複

Question

試想一下幾個文件夾，如

d:\myfolder\abc 
d:\myfolder\ard 
d:\myfolder\kjes 
... 

而且每個文件夾中，也有文件，如

0023.txt, 0025.txt, 9932.txt in d:\myfolder\abc 
2763.txt, 1872.txt, 0023.txt, 7623.txt in d:\myfolder\ard 
2763.txt, 2873.txt, 0023.txt in d:\myfolder\kjes 

所以，有三個0023.txt文件和兩個2763.txt文件。

我想創建一個文件（比如說，d:\myfolder\dup.txt），它包含以下信息：

0023 3 
0025 1 
9932 1 
2763 2 
1872 1 
7623 1 
2873 1 

我如何可以實現在Python？謝謝。

Answer 1

沒有廣泛的測試，但這個工程：

import os, os.path 

dupnames={} 
for root, dirs, files in os.walk('myfolder'): 
    for file in files: 
     fulpath=os.path.join(root,file) 
     if file in dupnames: 
      dupnames[file].append(fulpath) 
     else: 
      dupnames[file]=[fulpath] 

for name in sorted(dupnames): 
    print name, len(dupnames[name]) 

這工作以下列方式：

1. 創建一個空的字典;
2. 漫步文件層次結構;
3. 使用base name: [path to file]在列表字典中創建條目（或附加現有列表）。

後os.walk你將有一個字典，像這樣：

{0023.txt: ['d:\myfolder\abc', 'd:\myfolder\kjes'], 0025.txt: ['d:\myfolder\abc']} 

所以讓你的輸出，只是遍歷排序字典並計算列表中的條目。您可以將其輸出重定向到一個文件或直接用Python打開輸出文件。

您顯示您的輸出的擴展名剝離 - 0023 vs 0023.txt。如果您有0023.txt和0023.py，會發生什麼？相同的文件或不同？對於操作系統他們是不同的文件，所以我保留了擴展名。如果那是你想要的輸出，它很容易被剝離。

Answer 2

第1步：使用glob.glob找到的所有文件 第2步：創建每個文件名的最後部分一本字典（最後一個除法後） 第3步：經過文件路徑的列表，找到所有重複。

Answer 3

import os 
import collections 
path = "d:\myfolder" 
filelist = [] 
for (path, dirs, files) in os.walk(path): 

    filelist.extend(files) 
filecount = collections.Counter(filelist) 

Answer 4

這並不完全是你所要求的，但它可能對你沒有寫代碼行，儘管有點性能損失。作爲獎勵，它會組合在一起具有相同內容的文件的不同文件名：

http://stromberg.dnsalias.org/~strombrg/equivalence-classes.html

最新版本幾乎總是爲O（n），在不犧牲精度的哪怕是一點點。