捕獲重複句子的正則表達式

Question

最近我一直在用大文本文件做一些工作。我已經將它們轉換爲CSV格式，|作爲quotechar，但我發現有時會在文本文件中重複出現整個句子 - 不一定一個接一個。句子可以有不同的長度。我的目標是從CSV文件中刪除重複的句子。澄清，它看起來像這樣：

|something irrelevant|,|sentence1| 
|something irrelevant|,|sentence2| 
|something irrelevant|,|sentence3| 
|something irrelevant|,|sentence4| 
... 
|something irrelevant|,|sentence100,000| 

其中一些第二列是重複。我有一些正則表達式的經驗，但我沒有看到我可以使用的東西。正則表達式是正確的方式來處理這個問題，還是有更好的選擇？任何意見將不勝感激。

Answer 1

好的。我刪除從我的文本文件中的重複的句子如下：

1. 轉化爲CSV格式
2. 導入到Excel
3. 使用列Excel的「刪除重複」功能，現在包含句子
4. 導出爲CSV文件
5. 轉換回文本

這可能不是做事情的最有效的方式，但它活像ks，並且很容易遵循。我之前浪費了很多時間編寫複雜的正則表達式並在python中搞亂，所以希望這可能會節省一些時間。