在不使用自定義搜索API的情況下檢索Google結果

Question

最近，我一直在研究一個想法，該想法要求我查詢Google圖像並檢索與該搜索詞匹配的圖像的鏈接。我最有希望使用Google圖像API的候選人是Google Web Search API，但它看起來像將在明天停止服務： https://developers.google.com/web-search/docs/

替換它的API是Google Custom Search API ，但它有點令人沮喪的使用：
Google API Custom Search with Python - Programmatic Search Results
100天的搜索結果是一個非常嚴格的限制;這只是每小時四次搜索。我也不想經過創建一個我永遠不會使用的定製搜索欄的麻煩，除非通過Python

我決定直接從結果頁面解析HTML。但是，這存在一個問題，因爲無法在頁面的HTML內部直接鏈接到圖像，只有引薦網址。對於Google圖片的啓用javascript和禁用JavaScript的版本而言，情況確實如此（即使Python將spoofs javascript啓用，也沒有）。我不確定該從哪裏出發。任何人都可以向我推薦一些我不知何故忽略的模糊，更新的圖書館，或者給我一些指點？

Answer 1

您可以使用Selenium Webdriver實際執行JavaScript並單擊縮略圖視圖中的圖像。一旦圖像被打開，鏈接就在DOM中，你可以從那裏颳去它。所有Webdriver都會打開一個實際的瀏覽器並模擬一個用戶。如果您使用，您甚至可以將其作爲無頭瀏覽器運行。缺點是即使那樣，你也需要安裝在服務器上的瀏覽器的所有依賴關係。

但是，谷歌違反他們的服務條款，他們會盡力阻止你的努力。因此，除非您通過驗證碼（鏈接到會話），否則在被阻止之前可能無法進行大量搜索。