0
我正在尋找忽略來自bingbot的所有包含查詢字符串變量的網址at1=
但我並不清楚應該使用的模式。Robots.txt排除模式
其中一個工作?
User-agent: bingbot
Disallow: /*at1=
Disallow: *at1=*
爲了確認,我能有這樣的URL:
/some-page?at1=4&ca1=5&op1=8
我還是想/some-page
得到訪問,但不是在列出的URL有查詢字符串參數
編輯
一張海報實際上提出了一個PHP解決方案,它可能在細粒度目標方面有意義,但我不知道什麼正確的HTTP狀態代碼將發送告訴蜘蛛不受歡迎。有任何想法嗎?
這實際上可能最有意義 - 你選擇480的具體原因是什麼? – robjmills
真的不記得我認爲也許我使用408,因爲我的腳本中的某些類別,其不可剝奪,所以暫時我發送408。你可以使用404 – user956584
你已經發布480但不是408? – robjmills