5
我使用YQL控制檯和我「重定向到robots.txt限制的URL」錯誤的谷歌域名想從這個link in Google ShoppingYQL
返回結果使用YQL以下幾點：
select content from html where url="www.google.com/products/seller?hl=en&q=burkett+restaurant+equipment+reviews&tbo=u&tbm=shop&zmi=basequipment.com&cmi=12986189937115136" and xpath="//body"
它是說：「重定向到一個robots.txt受限制的URL」，並不會顯示任何結果，任何方式來解決這個問題？
谷歌[問機器人切勿觸摸數據（http://www.google.com/robots.txt）和雅虎！尊重他們的要求。所以不應該有技術方法。我希望他們的條款和條件也禁止您以這種方式訪問數據，因此您也處於不穩固的法律地位。 – Quentin 2012-02-08 20:33:57