0
所以我的問題其實很簡單:HTMLUnit和Cloaking
如果我把webclient.setCssEnables(false)
,那麼它應該工作得更快,對吧?但Google會認爲它是隱形的嗎? (如果你不知道是什麼隱形,隱形向用戶展示不同的東西,你會展示給谷歌機器人或任何其他機器人)
所以我的問題其實很簡單:HTMLUnit和Cloaking
如果我把webclient.setCssEnables(false)
,那麼它應該工作得更快,對吧?但Google會認爲它是隱形的嗎? (如果你不知道是什麼隱形,隱形向用戶展示不同的東西,你會展示給谷歌機器人或任何其他機器人)
HtmlUnit是一個網頁瀏覽器。爲什麼Google會在乎您在Web瀏覽器中啓用或禁用CSS?在HtmlUnit中啓用CSS並不會改變Web服務器提供的任何內容。
他可能使用HtmlUnit創建了使快捷AJAX可抓取的HTML快照:http://code.google.com/web/ajaxcrawling/docs/html-snapshot.html。 – notnoop 2012-01-04 04:33:43