2013-07-18 81 views
0

我建立一個Java的WebCrawler的,我需要趕上從谷歌搜索我請求「下一頁」的鏈接。爲此,我試圖實現一種模式或方式,但直到現在我還是找不到任何線索。追趕谷歌的搜索「下一頁」 - Jsoup的WebCrawler

退房這樣的畫面:

enter image description here

您可以測試自己的「下一頁」是一樣的鏈接,每次通過鼠標數量。鏈接上唯一會改變的部分是鏈接末尾的"Start=(number)"部分。對於每個搜索頁面,加上10個開始,因爲這是每個頁面的鏈接數量。

但是,奇怪的是,這種「默認」鏈接不來的頁面的源代碼中,當你請求的瀏覽器以顯示其代碼。也許這與谷歌索引過程有關,但我不確定,因爲我還不是專家程序員,特別是在Web編程中。

因此,任何人有我應該怎麼解決這個任何想法?

+0

我覺得你可以在這裏使用的答案[此處輸入鏈接的描述] [1] [1]:http://stackoverflow.com /問題/ 28568518 /檢索 - 所有鏈接 - 從 - 所有頁的 - 谷歌檢索結果 - 使用 - jsoup即時通訊已經在使用 – Learner

回答

-1

我會建議你使用jsoup.org

+0

,但是這有什麼用Jsoup到現在爲止,因爲它不清楚如何建立代碼的邏輯。 –