在搜索引擎中自動搜索

Question

我需要編寫一個程序，以便能夠使用Google或Bing等搜索引擎在網絡中搜索單詞。例如，我需要給它一個像「史蒂夫喬布斯」這樣的詞，並將所有前1000頁保存在我的電腦上。有沒有辦法做到這一點？

Answer 1

它看起來像谷歌棄用他們的搜索API，http://code.google.com/apis/websearch/

他們有一個新的自定義搜索引擎，這似乎僅限於網站的一個子集，你具體的，我可能是錯的。

兵有一個活躍的一個，雖然，http://www.bing.com/developers/s/APIBasics.html

要得到1000個結果你很可能將需要提交與尋呼信息的多個請求。

根據您檢索的內容，小心API查詢限制和數據使用策略。

Answer 2

您可以在Google實驗室中使用JSON/Atom Custom Search API，但似乎每天限制爲100條查詢免費。

此API允許您指定開始,計數和其他參數。它以良好的JSON形式返回，因此您可以輕鬆解析它們。

您需要一個API密鑰才能使用它。