繞過Cloudflare Scrapeshield

Question

我正在開展webscraping項目，並且遇到了cloudflare scrapeshield的問題。有誰知道如何解決它？我使用硒webdriver，通過scrapeshield將其重定向到一些燈光頁面。用python建立在firefox之上。瀏覽通常不會導致它重定向。 webdriver與常規瀏覽器有什麼不同嗎？

Answer 1

請參閱scrapeshield所做的是檢查您是否使用真正的瀏覽器，它本質上是檢查您的瀏覽器是否存在某些錯誤。假設Chrome瀏覽器無法處理IFrame，如果同時有一個303 error，某些Web瀏覽器對不同測試的反應不同，所以webdriver不得對這些反應做出反應，導致系統說「我們有入侵者，改變頁面！「。我可能是正確的，而不是100％肯定，雖然...

更多信息源：

我發現大部分在Defcon黑客大會上談網絡嗅探器這些信息，並阻止他們在適當的漏洞信息服務器，他在PHP中也創建了一個Web瀏覽器標識符。

Answer 2

「我使用硒webdriver，通過scrapeshield將其重定向到某個燈光頁面。」 - 這不是Scrapeshield的工作原理。

此外，我建議此線程關閉，因爲您要求繞過網站所有者故意決定在其網站上啓用的安全功能來阻止用戶抓取其內容。