我負責與基礎URL站點如： https://hello.world.com/my-site/robots.txt輔以不允許和meta標籤，讓
有一個在https://hello.world.com/robots.txt robots.txt文件，內容如下：
User-agent: *
Disallow:/
有沒有辦法對我來說，編輯或刪除或以任何方式影響該文件。
我可以，但是，把所有的網頁<元>標籤下https://hello.world.com/my-site/。 我知道我可以添加，例如：
<meta name="robots" content="index,follow">
我的問題是：谷歌將和其他搜索引擎下我的meta標籤給予更多的優惠https://hello.world.com/my-site/，或https://hello.world.com/robots.txt？
由於提前，
大衛
谷歌將同時使用，首先robots.txt來看看與路徑，他們可以訪問。
然後Google尋找Meta，使用Meta可以更好地控制腳本在索引和/或Follow中放置的頁面。
我認爲你應該使用兩者。將所有目錄放在robots.txt中的Google應該看不到像/ js，並且可以通過Controller腳本控制元標記，因此您可以設置「noindex，follow」作爲示例。你不能用robots.txt做「noindex，follow」之類的東西。
Robots.txt指令爲爬行指令，而元標記爲索引指令。所有索引器指令都需要抓取。因此，如果robots.txt被設置爲禁止，則您在元中執行的任何操作都不會起作用。當 URL進行爬網
從https://developers.google.com/webmasters/control-crawl-index/docs/robots_meta_tag
機器人元標記和X-Robots-Tag中的HTTP頭被發現。如果不允許某個網頁抓取robots.txt文件，則任何有關索引或提供 指令的信息將不會被發現，因此將被忽略。如果必須遵循 索引或服務指令，則不能禁止那些包含 這些指令的URL進行爬網。
用於註冊並登錄到您的谷歌網站管理員控制檯，看你能不能過乘坐的robots.txt設置在那裏 - 那裏是它的一個部分，但我不不知道它是否讓你重寫或只是給出提示。
絕對不斷嘗試更改robots.txt文件 - 元標記不能覆蓋機器人。txt文件，因爲robots.txt文件基本上等同於「crawl」/「nocrawl」而不是「index」/「noindex」 - 所以當google看到它無法抓取時，它從不檢查它是否可以索引但即使它仍然無法抓取。