爬行/ SEO友好/現代重寫/它沒有任何意義

Question

所以我依戀這個相當惱人的項目中，一個客戶端是所有挑剔挑剔的小東西，他給我的傢伙到底是誰樂意返回奉行遵循執行命令鏈條的古老規則。

現在我的問題。該應用程序基本上包含3個不同的迷你項目。管理員的後端界面，客戶端的後端界面以及所有人的前端界面。

我被特別要求應用MOD_REWRITE規則使事情對SEO友好。這是最終的目標，所以這基本上是一個讓事情更加搜索友好的練習，而不是讓這些鏈接更美觀。

所以我在前端工作，這基本上是每個人的登陸頁面。它看起來很美，鏈接最糟糕，後面跟着一個反斜槓。

我的客戶問題。他想知道爲什麼管理員和用戶的後端界面仍然顯示那些巨大的醜陋鏈接。這些非常非常醜陋的鏈接，我說的是三到四個反斜槓，然後是各種獲取序列，而不是什麼，所以你大概可以理解MOD_REWRITING之類的複雜性。

在那一刻我說，我離開它，它是確保後端接口不會受到任何爬蟲嗅了道路的鞭策。 但我不確定這是否一定是真的。爬蟲在哪裏停下來？他們什麼時候放棄嘗試解析鏈接？我知道我可以使用.robot文件來指定規則。但是，作爲土着生物，他們的直覺是什麼？

我知道這是更多的是咆哮比什麼都和我正在爲我的第一個問題被拒絕的風險非常高：|但是，嘿，讓我的胸部脫落感覺很好。

乾杯！

Answer 1

在哪裏爬蟲停下來？他們什麼時候放棄嘗試解析鏈接？

Robots.txt並未對所有機器人工作。

如果前端不需要文件，您可以使用基本身份驗證或IP限制訪問來隱藏後端。

如果不可行，請嘗試爲後端文件發送404或401標頭。但這只是一個想法，不能保證。

但是，作爲土着生物，他們的本能是什麼？

超鏈接，工具欄和瀏覽器片面的，預先激活功能malware-，spam-和欺詐警告...