0
商業搜索引擎的爬蟲如何遍歷網頁： 「識別種子頁面並通過連接的鏈接查找其他頁面」 或 「索引網站wwwroot目錄下的每個文件」。爬蟲/搜索引擎如何遍歷網絡？
在後來的選項搜索引擎的情況下，甚至應該索引的東西，不被任何其他頁面引用？
A
回答
1
參考必須存在。它可以是
- 普通的HTML HREF允許指數
- 鏈接sitemaps.xml robots.txt中
- 鏈路允許的履帶由網站站長在自己的搜索引擎後臺提供
- 參考
- 等
它可以是任何其他的鏈接。
相關問題
- 1. 識別搜索引擎爬蟲
- 2. 如何使用Express檢測搜索引擎優化的網絡爬蟲？
- 3. 網絡爬蟲
- 4. C++網絡爬蟲
- 5. PHP網絡爬蟲
- 6. Python網絡爬蟲
- 7. java網絡爬蟲
- 8. 網絡爬蟲類
- 9. SEO - 如何避免搜索引擎爬蟲無法讀取整個網址
- 10. 蟒蛇爬蟲代碼搜索網絡上的任何文件
- 11. asp.net mvc網站搜索使用網絡爬蟲
- 12. 向搜索引擎爬蟲（SEO）公開Solr的策略
- 13. 爲什麼搜索引擎爬蟲不能運行JavaScript？
- 14. AngularJS/AJAX應用程序和搜索引擎爬蟲
- 15. 具有存儲網絡歷史記錄的Python網絡爬蟲
- 16. 自動網絡爬蟲
- 17. 網絡爬蟲的功能
- 18. 網絡爬蟲，反饋？
- 19. 網絡爬蟲的Java
- 20. 遞歸網絡爬蟲perl
- 21. 簡單的網絡爬蟲
- 22. Python中的網絡爬蟲
- 23. 需要網絡爬蟲
- 24. 網絡爬蟲文本雲
- 25. 硒與python網絡爬蟲
- 26. 網絡爬蟲從Android Market
- 27. 網絡爬蟲應用
- 28. 網絡爬蟲不打印
- 29. 網絡爬蟲提取
- 30. 網絡爬蟲如何處理javascript
所以商業搜索引擎不會通過wget-m抓取網站的目錄嗎？ – David
@David居然沒有。由於大多數嚴重項目出於安全原因不允許目錄列表。甚至更多，URL結構並不總是反映目錄結構（這很明顯）。另外，如果我沒有錯，wget -m只是FTP鏡像選項。 –
你可以通過它鏡像任何網站wget -m http://www.gnu.org/software/wget/ – David