不允許robot.txt中的某些URL

-1

我目前正在運行一個Web服務，用戶可以在其中瀏覽產品。該URL基本上只是/products/product_pk/。但是，我們不提供某些product_pks的產品，例如沒有小於200.是否有阻止漫遊器訪問諸如/products/10/（因爲它們將收到404）的URL？不允許robot.txt中的某些URL

謝謝您的幫助:)

來源

2015-11-09 pasql

我敢肯定，爬蟲不要嘗試和失敗自動生成的URL。它抓取您的網站並找到下一個要抓取的鏈接。如果你有任何鏈接返回404，這是你的網站設計不好，因爲他們不應該在那裏。

來源

2015-11-10 00:21:34

嘿，沒有鏈接嵌入，將導致404頁，因爲這確實是不好的設計... – pasql

然後不要擔心。沒有抓取工具會嘗試URL - */products/product_pk/*，其中* product_pk *小於200.因爲抓取工具在抓取時永遠不會找到這樣的網址。 –

不幸的是我有這種情況，因此我添加了不支持product_pk的所有URL到禁止部分。現在我不再有任何點擊/ 404錯誤警告郵件。但是，這似乎是一個非常糟糕的黑客：/ – pasql

不允許robot.txt中的某些URL

回答

相關問題