sitemap.xml會被濫用到複製整個網站嗎？

我打算在我的網站上生成內容頁面上傳sitemap.xml。截至目前，如果我嘗試使用HTTrack等工具複製整個網站，則無法複製。sitemap.xml會被濫用到複製整個網站嗎？

現在，如果我想讓搜索漫遊器在本網站上查找和索引內容頁面，我將不得不在sitemap.xml文件中包含所有網址。

所以問題是 - 這樣的sitemap.xml會暴露所有的網址，從而「促進」網站的完整副本嗎？

關於此的輸入將受到高度讚賞。

來源

2012-12-21 Rohit Sahasrabudhe

從技術上來說，是的。

但我想你真的需要問的問題是'我關心'
如果答案是肯定的，你應該考慮是否應該首先將它發佈到網絡上？

構建良好的IA將包含各個頁面之間的鏈接反正（用於導航和搜索引擎優化的原因），所以喜歡的HTTrack工具將能夠複製反正該網站。

任何你不想被HTTrack看到的東西，對於普通的網絡用戶來說也是不可見的，也就是說，不管是密碼保護還是不存在。

來源

2012-12-21 11:29:57 Alex

謝謝亞歷克斯。恐怕，我的恐懼已經實現。內容頁面不會隱藏用戶甚至HTTrack。但是，當我嘗試使用HTTrack複製整個網站時，它無法複製它。所以有些東西阻止了它複製整個網站的內容。我的擔心是，sitemap.xml是否會啓用HTTrack來複制整個網站，我認爲它會。所以我將不得不退出使用sitemap.xml。 –

第二個想法是，是否有任何方法可以將訪問sitemap.xml的權限授予特定的抓取工具 - 就像谷歌，雅虎，bing等衆所周知的抓取工具一樣？ –

如果HTTrack無法「複製」您的網站，那麼抓取工具等無法正確地抓取您的內容，並且您的網頁排名會出現問題。 – Alex

sitemap.xml會被濫用到複製整個網站嗎？

回答

相關問題