創建一個文件比較軟件

Question

我想創建一個能夠確定一些文字是通過讀取兩個文件的文本，並比較他們兩個文件之間進行復制的應用程序。我想知道是否有人曾試圖做到這一點，以及處理這種情況的最佳方式是什麼。如果涉及機器學習和自然語言處理：到什麼程度？

Answer 1

我相信Copyscape使用4克幫助確定唯一性。

這些字符串被稱爲N-Grams。

然而，another SO answer鏈接到language independent algo comparing bi-grams角色的基礎上。它已經在Java中實現，這將有助於節省時間。

Answer 2

有技術，這完全依賴於集合論的概念

嘗試http://en.wikipedia.org/wiki/W-shingling一個良好的開端。