爬行一個網站因爲JavaScript沒有啓用失敗

我想爬，似乎阻擋不啓用javascript 這是一個PHP頁面的任何請求的網站，我獲得「請激活JavaScript以查看此網站」。而不是真實的網站

如何知道javascript是否啓用？（並在您看來？ - 你認爲我可以克服）

感謝

該網站下載失敗還是無法正確顯示？它更可能是客戶端生成的這個錯誤，而不是直接來自服務器。但是，當然，大多數爬蟲將無法下載腳本在運行時生成的內容。 – Havenard

Afaik服務器可以知道你禁用JavaScript的唯一方法是運行'document.cookie ='me_has_javascript = 1';'並檢查這個cookie是否存在於隨後的HTTP請求中。 – Havenard

我得到一個頁面，只是一個頁面說我需要啓用javascript，我猜他們使用Ajax來加載頁面... –

除非你爬了JavaScript功能的客戶端的網站，你的運氣了。

2013-04-16 20:06:38

我在哪裏可以找到這樣的客戶端？ –

@RoyiM好吧，你可能需要研究各種可以提供這種支持的UI測試工具。 –

回答