DotNetNuke的robots.txt的不被谷歌機器人榮幸

我有多個門戶DotNetNuke的安裝：
domain1.com
domain2.com
domain3.com等DotNetNuke的robots.txt的不被谷歌機器人榮幸

服務器是32個演出，8個核心。

我有一個robots.txt文件。當谷歌開始爬行時，我發現多個谷歌IP地址的CPU時間達到100％。根據IIS的說法，它每次嘗試抓取的網址都是/lmm-product-service/elmah.axd/detail?id=af51e96f-d0cd-4598-90ad-ebe980947fa6，並且每次都有一個新的ID。該網址對所有當前的谷歌機器人實例都是相同的，但是當爬蟲再次開始時會發生變化。

該網址無效。當我嘗試在瀏覽器中訪問它時，出現404錯誤 - 未找到。

我試圖在我的robots.txt來禁止/ LMM產品服務/無濟於事：

User-agent: Googlebot 
    Disallow: /*/ctl/  # Googlebot permits * 
    Disallow: /admin/ 
    Disallow: /lmm-product-service/

它實際上不是隻有谷歌這樣做。這也是ahrefs，但我已經阻止他們在防火牆。

有什麼建議嗎？

來源

2017-12-02 Chris

好的。保持我的手指交叉。我採取了不同的方式。我只是增加了一個urlrewrite規則：

<rule name="KillElmahRequests" enabled="true" stopProcessing="true"> 
     <match url=".*elmah.*" /> 
     <action type="AbortRequest" /> 
    </rule>

已經差不多90分鐘了，沒有問題。我仍然不知道爲什麼漫遊器試圖抓取一個不存在的url，爲什麼，因爲它不存在，它正在吃掉w3wp.exe進程，但這似乎是有效的。

來源

2017-12-02 20:36:14 Chris

問題是ELMAH，一個外部ASP.NET記錄器。如果DNN使用這個記錄器，那麼DNN軟件中存在一個錯誤！升級DNN !!錯誤：System.ComponentModel.Win32Exception您確定Google Bot是真實的嗎？有假貨

來源

2017-12-02 18:18:04

是的。 IP地址指向谷歌機器人。我正在使用dnn 8. – Chris

如果DNN社區版本升級很容易 –

是的，那不是問題。 DNN 8不使用elmah。就像我說的那樣，這個網址甚至都不是有效的，但漫遊器仍在嘗試抓取它並且不遵守robots.txt。有什麼建議麼？ – Chris

DotNetNuke的robots.txt的不被谷歌機器人榮幸

回答

相關問題