使用pycurl獲取下一頁谷歌結果

Question

我已經編寫代碼來搜索谷歌使用pycurl的東西。我希望能夠使用pycurl來做到這一點，但不勝感激。我正在尋找能夠搜索一個術語，然後「點擊下一頁按鈕」或「點擊底部的索引編號」使用pycurl，所以我可以獲得更多，然後只是前10個網頁結果。

在此先感謝。

Answer 1

有多種方法可以做到這一點。

如果您的基本網址http://www.google.co.uk/search?hl=en&q=YOUR_QUERY_STRING

您可以添加& NUM = 100到您的網址年底獲得前100個結果。

，或者您可以添加&開始= N，其中N是10的倍數，並重新發送的WebRequest獲得下一個頁面

，或者你只是使用XPATH解析網頁並獲取的網址下一頁上的搜索結果。