2012-09-13 50 views
0

我正在尋找忽略來自bingbot的所有包含查詢字符串變量的網址at1=但我並不清楚應該使用的模式。Robots.txt排除模式

其中一個工作?

User-agent: bingbot 
Disallow: /*at1= 
Disallow: *at1=* 

爲了確認,我能有這樣的URL:

/some-page?at1=4&ca1=5&op1=8 

我還是想/some-page得到訪問,但不是在列出的URL有查詢字符串參數

編輯

一張海報實際上提出了一個PHP解決方案,它可能在細粒度目標方面有意義,但我不知道什麼正確的HTTP狀態代碼將發送告訴蜘蛛不受歡迎。有任何想法嗎?

回答

1
if (strstr($_SERVER['HTTP_USER_AGENT'], "www.bing.com/bingbot.htm") and isset($_GET['at1'])) : 
     @header("HTTP/1.0 480 Temporarily Unavailable"); 
     die; 
endif; 
+0

這實際上可能最有意義 - 你選擇480的具體原因是什麼? – robjmills

+0

真的不記得我認爲也許我使用408,因爲我的腳本中的某些類別,其不可剝奪,所以暫時我發送408。你可以使用404 – user956584

+0

你已經發布480但不是408? – robjmills