如何刪除在文件中多次出現的單詞,只保留第一個單詞並刪除克隆。刪除在文件中多次出現的單詞
0
A
回答
3
一個簡單的算法就是迭代輸入中的所有單詞,將每個單詞添加到之前看到的一組單詞中。如果該單詞已經在該集合中,請將其刪除。
下面是一個例子:
seen_words = set()
for word in words:
if word not in seen_words:
print word
seen_words.add(word)
0
您也可以使用這樣的字典:
mydict = {}
mylist = [1, 2, 2, 3, 4, 5, 5]
for item in mylist:
mydict[item] = ""
for item in mydict:
print item
輸出:
1
2
3
4
5
但是,當然,你需要的是融入文件讀/寫。
0
您可以使用一組:
集( '這是所有單詞的詞都是these'.split())
輸出: '這些', '的',' 所有」, '是', '話'
+1
設置不保存順序! – 2011-04-26 23:27:15
0
fileText = "some words with duplicate words"
fileWords = fileText.split(" ")
output = fileWords[0]
words = [output]
for word in fileWords:
if word not in words:
output += " "+word
words.append(word)
+0
「output + =」「+ word''的每次執行包括創建一個具有輸出值」「和單詞連接的新對象。如果文件很大,這對於解釋器來說代表了很多工作。而且,根據「」進行分割會給出可能在其中有換行符的字符串。所以'sun \ nsea'將是一個詞,當'sun'或'sea'出現在一行中間時,它不會被刪除。 – eyquem 2011-04-26 23:44:43
0
如果你的文件是不是非常大,
word='word'
data=open("file").read()
ind = data.find(word)
print data[:ind+len(word)] + data[ind:].replace(word,"")
相關問題
- 1. 在詞彙表中刪除一次出現的單詞TF-IDF
- 2. 如何刪除已出現在文件中多次在vim
- 3. 刪除txt文件中每一個單詞的第二次出現(Python)l
- 4. 刪除txt文件中每一個單詞的第二次出現(Python)
- 5. 從字符串中刪除單詞的第一次出現?
- 6. 從文件內容中刪除停用詞並計算詞的出現次數
- 7. 列出文本文件中出現次數的所有單詞?
- 8. 計算單詞在txt文件中出現的次數Java
- 9. 刪除Word的多次出現
- 10. 刪除文件中的特定單詞
- 11. Python - 單詞出現次數
- 12. 刪除出現在其他列中的單詞,Pandas
- 13. Python:計算文件中某個單詞出現的次數
- 14. 用C++計算文件中單詞的出現次數
- 15. VS2008 C#:刪除多次出現
- 16. 從文件中刪除單詞
- 17. Lucene刪除文件再次出現在搜索中
- 18. 統計單個單詞中的單詞出現次數
- 19. awk在一個文件中出現多次出現的兩個單詞之間的所有行
- 20. 如何返回文本中出現n次或更多次的單詞列表?
- 21. 計算在文本中出現特定單詞的次數?
- 22. 刪除在Pandas數據框中出現多次重複的值
- 23. 刪除不頻繁出現的列表中的單詞
- 24. 詢問單詞並檢查其在文本文件中的出現次數
- 25. 從文件中清除多個單詞
- 26. 如何刪除file1中出現一次或多次在python中file2的行?
- 27. 如何計算Ruby中文本文件中單詞的出現次數
- 28. 從字符串中刪除:在Excel中出現在列中的所有單詞
- 29. 查找單詞和刪除文件
- 30. 刪除文字c中的單詞#
你能搜索/一個普通expressio更換N + – Ethan 2011-04-26 23:09:55
該算法取決於文件的性質:非常非常大或合理的大小,允許加載內存中的內容? – eyquem 2011-04-26 23:32:29