My robots.txt包含以下規則：網站地圖/ robots.txt的配置衝突
Disallow: /api/
Allow:/
Allow: /apiDocs
的/apiDocs URL是在地圖，但根據谷歌網站管理員工具，這些robots.txt規則而被抓取禁止。我想阻止所有匹配/api/*的網址被抓取，但允許抓取網址/apiDocs。
我應該如何更改我的robots.txt來實現這一目標？
換行符不是在記錄允許（你有你的Disallow和兩個Allow行之間的一個）。
您不需要Allow: /（與Disallow:相同，這是默認值）。
您不允許抓取/api/（這是任何URL，其路徑以「api」開頭，後跟一個「/」），因此不需要Allow: /apiDocs，因爲無論如何都是允許的。
所以，你的備用記錄應該是這樣的：
User-Agent: *
Disallow: /login/
Disallow: /logout/
Disallow: /admin/
Disallow: /error/
Disallow: /festival/subscriptions
Disallow: /artistSubscription
Disallow: /privacy
Disallow: /terms
Disallow: /static
Disallow: /api/
當機器人被這種「回退」的記錄相匹配，則允許抓取網址，其路徑開始apiDocs。