0
我在應用程序中看到了很多例外情況 - 這是從現成的電子商務網站轉換而來的 - 一年前，當蜘蛛擊中不再是路線時存在。這些數量並不多，但它們每天都會被多次蜘蛛擊中。我阻止了最壞的罪犯（主要是垃圾蜘蛛），但我無法阻止Google和bing。有太多網址要手動刪除。處理由蜘蛛生成的rails應用程序中的錯誤
我不知道爲什麼應用程序不會返回404代碼，我猜其中一條路線是捕捉URL並嘗試生成一個視圖，但由於資源丟失，它返回nil，它是拋出錯誤的是什麼。就像這樣：
undefined method `status' for nil:NilClass
app/controllers/products_controller.rb:28:in `show'
此外，這種特殊的產品了，所以我不知道爲什麼應用程序沒有返回404錯誤頁面，而不是它試圖生成視圖，即使資源不存在，它正在檢查以確保nil資源具有公共狀態，並且引發錯誤。
如果我救援活動：記錄未找到，將這樣做嗎？這是很難測試的，因爲我必須等待各種機器人通過。
我也有一些鏈接依賴於設置用於跟蹤的cookie，如果cookie沒有設置，應用程序會在處理請求之前設置它。這似乎沒有與蜘蛛合作，我已經將這些鏈接設置爲nofollow鏈接，但這似乎並未得到所有蜘蛛的尊重。