3
http://plus.google.com/robots.txt有以下內容:Google+ robots.txt中的這些行是什麼意思?
User-agent: *
Disallow: /_/
我假設這意味着搜索引擎允許索引任何在第一級關閉根並沒有什麼進一步的?
http://plus.google.com/robots.txt有以下內容:Google+ robots.txt中的這些行是什麼意思?
User-agent: *
Disallow: /_/
我假設這意味着搜索引擎允許索引任何在第一級關閉根並沒有什麼進一步的?
我相信那些線被用於拒絕機器人訪問的URL像 https://plus.google.com/_/apps-static/_/ss/landing/...
和 https://plus.google.com/_/apps-static/_/js/landing/...
。
這些URL主要看起來是CSS,Javascript和JSON,但可能還有其他的東西(對搜索引擎更有價值),這些東西並不是很明顯。
據我所知,_是非標準的。 –