無論如何，使用機器人加載/訪問完整的網頁（所有子頁面）？

-1

目前我有一個網頁，它與清漆緩存。但是，要使此緩存正常工作，必須先訪問該頁面，然後才能從緩存中加載。我的問題是，我在這個網站有一千頁，我不能一一瀏覽它們，因爲它會花費很多。有沒有任何webcrawler或類似的東西來完成這項任務？只需訪問該頁面，因爲訪問該頁面會生成緩存文件，然後以更快的速度運行。無論如何，使用機器人加載/訪問完整的網頁（所有子頁面）？

來源

2017-03-02 romanturbo

只是生成一個在線地圖生成器的網站地圖，它會抓取所有的網站

來源

2017-03-02 19:27:56 romanturbo

無論如何，使用機器人加載/訪問完整的網頁（所有子頁面）？

回答

相關問題