如何防止Google抓取在javascript中找到的部分網址？

Question

我最近某網站添加到谷歌搜索控制檯和大量的404錯誤都出現了，都用相同的模式：

https://example.com/metas?some_id=247 

該頁面不存在，鏈接到網站上的任何地方。但我當檢查源代碼FO是被引薦的頁面，我有這個代碼的腳本標籤：

$.ajax({ 
    url: "/products/" + productId + "/metas?some_id=247", 
    dataType: 'script', 
    success: function(data) { 
    // ... 
    }, 
    error: function(XMLHttpRequest, textStatus, errorThrown) { 
    // ... 
    } 
}); 

爲什麼會谷歌機器人抓取此網址我我怎麼能防止這種情況發生（顯然rel="nofollow"在這裏是不可能的）？將腳本放在外部.js文件中而不是在頁面html代碼中使用<script>標記會有幫助嗎？

Answer 1

通常認爲在不存在的URL上應用noindex標記是一個好主意。

根據您的平臺，只需編輯您的404頁面模板以包含<meta name="robots" content="noindex, nofollow" />即可解決很多問題。

由於腳本，插件或任何可以使用URL模式匹配來應用您的noindex標記的棘手自動生成的URL。

這裏是PHP的例子：

$url = 'http://' . $_SERVER['SERVER_NAME'] . $_SERVER['REQUEST_URI']; 
 

 
if (strpos($url,'YOURQUERY') !== false) { 
 
echo '<meta name="robots" content="noindex, nofollow" /> ' 
 
}