我有一個網站（例如：www.examplesite.com），我在IIS中創建另一個站點作爲獨立的獨立站點。該第二個網站的網址將使其看起來像是我的主要網站的一部分：www.examplesite.com/anothersite。這是通過在我的主站點下創建一個指向第二個站點的虛擬目錄來完成的。搜索引擎是否會將robots.txt授予另一個站點下的虛擬目錄的單獨站點？
我允許我的主網站（www.examplesite.com）在搜索引擎中編入索引，但我做的是而不是希望我的第二個虛擬目錄網站能被搜索引擎看到。我可以允許我的第二個網站擁有自己的robots.txt文件，並禁止該網站的所有網頁嗎？或者我需要修改我的主站點的robots.txt文件並告訴它禁止虛擬目錄？
您不能擁有自己的robots.txt目錄。只有一個「主機」可以擁有自己的robots.txt：example.com，www.example.com，sub.example.com，sub.sub.example.com，...
所以，如果你想設置規則www.example.com/anothersite，您必須使用www.example.com/robots.txt的robots.txt。
如果你想阻止所有頁面的子網站，只需添加：
User-agent: *
Disallow: /anothersite
這將阻止開始與「anothersite」的所有URL路徑。例如。這些鏈接都被封鎖，那麼：
www.example.com/anothersitewww.example.com/anothersite.htmlwww.example.com/anothersitefoobarwww.example.com/anothersite/foobarwww.example.com/anothersite/foo/bar/注意：如果您的robots.txt已Ç插入User-agent: *，則必須在該塊中添加Disallow行，而不是添加新塊（一旦找到與其匹配的塊，漫遊器將立即停止讀取robots.txt）。