如何在網頁中搜索單詞

Question

如何搜索網頁中某個單詞的存在情況，如果其網址爲「www.microsoft.com」。我是否需要下載此網頁才能執行此搜索？

Answer 1

我知道我會做到這一點在理論上 - 使用捲曲或某些應用程序進行下載，內容存儲到一個變量，然後解析它爲任何你需要

Answer 2

是的，你需要下載頁面內容和在裏面搜索你想要的東西。如果碰巧你想搜索整個microsoft.com網站，那麼你應該編寫自己的網絡爬蟲，使用現有的爬蟲或使用像谷歌的搜索引擎API。

Answer 3

是的，您必須下載頁面，並且爲了確保獲得完整的內容，您需要執行腳本幷包含動態內容 - 就像瀏覽器一樣。

我們無法在遠程資源上「搜索」某些內容，這不受我們控制，並且默認情況下沒有任何Web服務器提供「掃描我的內容」方法。

很可能你會想用瀏覽器引擎（webkit或其他）加載頁面，並在該引擎的內部DOM結構上執行搜索。

Answer 4

如果你想自己做搜索，那麼顯然你必須下載頁面。 如果你打算採用這種方法，我推薦Lucene（除非你想要一個簡單的子字符串搜索）

或者你可以有一個web服務，爲你做。您可以請求web服務以grep的網址並回傳其結果。

Answer 5

您可以使用搜索引擎的API。我相信Google和Bing（http://msdn.microsoft.com/en-us/library/dd251056.aspx）有你可以使用的。

Answer 6

您只需要在網頁上發出http請求並獲取其所有內容，然後您可以搜索必要的單詞，下面的代碼可能會幫助您這樣做。

public static void main(String[] args) { 
    try { 
     URL url; 
     URLConnection urlConnection; 
     DataOutputStream outStream; 
     DataInputStream inStream; 

     // Build request body 
     String body = 
     "fName=" + URLEncoder.encode("Atli", "UTF-8") + 
     "&lName=" + URLEncoder.encode("Þór", "UTF-8"); 

     // Create connection 
     url = new URL("http://www.example.com"); 
     urlConnection = url.openConnection(); 
     ((HttpURLConnection)urlConnection).setRequestMethod("POST"); 
     urlConnection.setDoInput(true); 
     urlConnection.setDoOutput(true); 
     urlConnection.setUseCaches(false); 
     urlConnection.setRequestProperty("Content-Type", "application/x-www-form-urlencoded"); 
     urlConnection.setRequestProperty("Content-Length", ""+ body.length()); 

     // Create I/O streams 
     outStream = new DataOutputStream(urlConnection.getOutputStream()); 
     inStream = new DataInputStream(urlConnection.getInputStream()); 

     // Send request 
     outStream.writeBytes(body); 
     outStream.flush(); 
     outStream.close(); 

     // Get Response 
     // - For debugging purposes only! 
     String buffer; 
     while((buffer = inStream.readLine()) != null) { 
      System.out.println(buffer); 
     } 

     // Close I/O streams 
     inStream.close(); 
     outStream.close(); 
    } 
    catch(Exception ex) { 
     System.out.println("Exception cought:\n"+ ex.toString()); 
    } 
}