通過java在網站上搜索

Question

我想知道如何通過java在網站上搜索。我想先在網站上搜索一個詞。然後網站將返回一些鏈接。我想點擊這些鏈接。他們會將我重定向到另一個頁面，最後我會從該頁面獲取數據。我檢查了jsoup爲了解析html頁面，但我不知道如何在網站上進行搜索並使用java單擊鏈接。

Answer 1

您需要make HTTP requests，就像瀏覽器一樣。使用例如Network panel in Google Chrome來查看Chrome手動執行搜索時發生的HTTP請求，忽略那些無關緊要的代碼並編寫代碼來模擬那些做的事情。

爲了找到正確的搜索結果來請求（「點擊」），您也需要使用類似jsoup的東西。

您可以使用硒代替，但這將是荒謬的重量級，除非該網站使用一些複雜的Javascript或插件來執行搜索，這是不太可能的。

Answer 2

首先，您應該熟悉HTTP請求協議。然後，編寫你的網站變成一個套接字服務器是一件簡單的事情，當你連接到你的時候發送一些有意義的數據。 我只使用socket，os和sys庫在Python中創建了一個Web服務器。

基本HTTP協議是 ，客戶端將發送服務器

GET /path/file.extension HTTP/1.0 < - 基本上得到是的請求的類型，/path/file.extension基本文件被請求。和HTTP/1.0是協議 主機：yourwebsite.url < - 我不認爲這是必要的 用戶代理：HTTPTool/1.0 < - 基本上就像他們用來發送HTTP請求的方法，如Chrome或火狐 [空白]

，服務器將響應種像 HTTP/1.0 200 OK < - 再次，協議，則該消息（404沒有找到，等） 日期：星期一，2012年11月19日14:15:45 GMT < - 這不是必需的，但你可能還包括它 內容類型：文本/ HTML < - 您發送的內容類型，HTML是文本/ HTML也是圖像拉鍊等。只是谷歌它（這很簡單） 內容長度：12313131 < - 數據的長度（以字符爲單位）。這是需要 [空白]
< HTML>
<頭>
< H2>嗨</H2>
< /頭「
<體>
歡迎來到我的船尾
</BODY>
</html>
然後服務器發送數據後，它關閉套接字。在Java中爲 ，字符串長度爲：
String blah =「foobar」; int length = blah。長度（）;

有關套接字在Java中的詳細信息閱讀：http://docs.oracle.com/javase/tutorial/networking/sockets/index.html
之後，它是存儲要查找數組中的單詞和處理數據發送到客戶端的問題。你也希望能夠理解POST。之後，你所做的就是獲得他們想要看到的文件，並將其提供給他們。當他們搜索某些東西時，在數據庫中查找它返回鏈接或返回找不到的項目。