0
我有一個情況,我們有需要保持完好兩個代碼庫..的robots.txt http://example.com vs.http:// www.example.com
例如:http://example.com
。
和一個新的網站http://www.example.com
。
舊網站(無WWW)支持一些舊代碼,並有規則:
User-agent: *
Disallow:/
但在新的版本(與WWW)沒有robots.txt
。
Google是否正在尋找舊的(無WWW)robots.txt
文件作爲其規則?並將加入
User-agent: *
Allow:/
到(WWW)方覆蓋這個?
在舊代碼庫中更改robots.txt
不是此時的選項。