通過java處理文本

Question

我應該通過Java讀取文本文件，並將文本文件中的所有電子郵件ID和URL清空。這是爲了減少數據中的噪音。

java中有沒有任何庫函數可以做同樣的事情？

Answer 1

您可以使用FileInputStream和/或BufferedReader讀取文件。您可以解析每一行，並使用正則表達式來查看是否有任何匹配的電子郵件或URL模式，並創建一個新的輸出字符串或流將其寫出。

向我們展示您嘗試過的以及您當前的代碼。

作爲附錄，我使用這些： http://www.regular-expressions.info/email.html http://daringfireball.net/2009/11/liberal_regex_for_matching_urls

有了不同程度的成功。

Answer 2

通常在NLP系統中，文本將被標記化，並且處理URL或電子郵件地址只是將低頻標記減少到佔位符以減少數據稀疏的一種情況。假設標記化能夠將每個項目保存在一個標記中，則替換標記更容易 - 就像您可以用佔位符替換髮生率低於某個閾值的所有單詞一樣。

此外，您可能希望將Baum-Welch應用於整個業務。

Answer 3

String.replace（）需要一個正則表達式和替換字符串（在你的情況「」）。使用正則表達式來處理電子郵件字段和URL以完成此任務。