使用搜索引擎獲取URL

我正在構建一個門戶，列出某些產品並自動從列出的供應商的產品頁面獲取價格。要在供應商的網站上獲取產品頁面的URL，我一直在使用Google搜索API，並且它的工作效果很好 - 第一個結果始終是產品的頁面。但是，現在我收到錯誤，說Google已經從API中阻止了我的網站（實際上是我的開發計算機的IP），因爲我一直在進行自動化請求，例如刮取（唯一適用的項目）。使用搜索引擎獲取URL

很好，Google可以跳下懸崖，但是......產品門戶通常如何獲取ww產品的URL？我可以手動輸入網址，但如果供應商的網站以某種方式更改URL方案，則這可能是一個問題。我顯然需要一個自動化的方式來做到這一點。

我每天不超過50-60個請求，所以我沒有得到Google想要的。他們想要錢嗎？

來源

2012-03-27 DMIL

首先，他們希望您使用他們的API之一，而不是直接刮掉他們的網頁。他們的自定義搜索API記錄在here。一旦你註冊，他們會給你一個API密鑰。您可以通過請求

https://www.googleapis.com/customsearch/v1?q=SEARCH_TERMS&key=YOUR_KEY

其次得到JSON格式的結果，他們做喜歡錢，但你可能是正確的。您每天可以免費獲得100次搜索;除此之外，您將收取每千次搜索5美元的費用。

來源

2012-03-27 19:01:23

我已經在使用他們的API（http://ajax.googleapis.com/ajax/services/search/web?v=1.0&q=whatever），但沒有密鑰。我假設我在沒有API密鑰的情況下允許這100次搜索。 – DMIL 2012-03-27 19:14:16

@DMIL哦，我明白了。我認爲那已經很好了，但Google現在試圖讓人們從原來的API（你正在使用的）轉向新的API，所以他們正在對舊API進行更嚴格的限制！ – 2012-03-27 19:23:37

使用搜索引擎獲取URL

回答

相關問題