下載HTML文件並將其轉換爲TXT

Question

我正在用c＃編寫一個程序。 我需要知道是否有選項可以打開網站的網址並在文本中查找關鍵字。 例如，如果我的程序獲得URL http://www.google.com和關鍵字「gmail」 它將返回true。 因此，爲了得出結論，我需要知道是否有辦法去URL下載HTML文件將其轉換爲文本，所以我可以查找我的關鍵字。

Answer 1

您應該可以按原樣打開HTML文件。 HTML文件是純文本，這意味着FileStream和StreamReader應該足以讀取該文件。

如果你真的想要的文件是.txt，您只需將文件當您下載保存爲filename.txt，而不是filename.html。

Answer 2

這聽起來像你想刪除所有的HTML標籤，然後搜索結果文本。

我的第一反應是使用正則表達式：

String result = Regex.Replace(htmlDocument, @"<[^>]*>", String.Empty); 

無恥偷了這個來自： Using C# regular expressions to remove HTML tags

這表明這聽起來完全像你在找什麼HTML Agility Pack。

Answer 3

在Visual Basic中工作的：

Imports System 
Imports System.IO 
Imports System.Net 

Function MakeRequest(ByVal url As String) As String 
    Dim request As WebRequest = WebRequest.Create(url) 
    ' If required by the server, set the credentials. ' 
    request.Credentials = CredentialCache.DefaultCredentials 
    ' Get the response. ' 
    Dim response As HttpWebResponse = CType(request.GetResponse(), HttpWebResponse) 
    ' Get the stream containing content returned by the server. ' 
    Dim dataStream As Stream = response.GetResponseStream() 
    ' Open the stream using a StreamReader for easy access. ' 
    Dim reader As New StreamReader(dataStream) 
    Dim text As String = reader.ReadToEnd 

    Return text 
End Function 

編輯：對於其他人發現這個頁面將來參考，您的URL通過，而這個函數會去的網頁，閱讀所有的HTML文本，並將其作爲文本字符串返回。那麼你所要做的就是解析它（搜索文件中的文本），或者如果你願意的話，你可以使用流寫入器將它保存到文本或html文件中。

Answer 4

不要使用正則表達式來解析html，因爲html對於常規表達式來說相當複雜。看看林志玲討論因此，對於這個

RegEx match open tags except XHTML self-contained tags

使用，而不是已經實現了HTML解析器用於這一目的。

這裏是SO另一個討論在這裏你可以找到一個鏈接，你需要

Looking for C# HTML parser

搜索還互聯網上自己。

Answer 5

using (WebClient client = new WebClient()) 
{ 
    client.DownloadFile("http://example.com", @"D:\filename.txt"); 
}