2
我使用remote: true
鏈接了很多。在大多數情況下,響應可以是js
或html
,所以searchbots不會導致問題遠程處理:真正的鏈接和searchbots
但有些環節,是純粹的JS響應,並沒有HTML的響應(這會導致異常和錯誤,其洪水監測工具,電子郵件,警報等)
如何設置鏈接,讓searchbots(谷歌,bing,其他爬蟲)不會嘗試它?
或者 - 我應該返回一種類型的響應,以便抓取工具知道不會返回到該網址?