搜索爬行「Bot」？

Question

我正在開發一個項目，該項目需要我收集大量關於某些主題的網站的URL。我想編寫一個腳本，使用谷歌搜索特定的術語，然後將結果中的URL保存到文件中。我會如何去做這件事？我使用了一個名爲xgoogle的模塊，但它總是返回沒有結果。

我在Windows 7上使用Python 2.6。

Answer 1

谷歌有一個API庫。我建議你使用：http://code.google.com/apis/ajaxsearch/

這是一個安靜的API，這意味着它很容易通過python/js抓取結果。我認爲你只限於32項結果，但這應該足夠了。它將返回一個很好的結構化對象，您可以使用它而無需執行任何HTML解析操作。

如果您想'抓取'，您可以使用urllib抓取每個URL並獲取THEIR的內容，以及它們引用的URL，等等。

Answer 2

確保您更改了urllib2的用戶代理。默認的一個往往會被Google阻止。確保您遵守您正在編寫腳本的搜索引擎的使用條款。