編輯：接受的答案在時間工作。劇本由作者改變。由於當時我問的問題，我寫我自己的實現此：https://github.com/knyzorg/Sitemap-Generator-Crawler/

來源

2015-01-11 Slava Knyazev

這個人做的工作，我測試了它在我的服務器http://www.plop.at/en/php.html

來源

2015-01-11 05:36:16

先生，我想抱抱你。通過輕微的代碼更改，它完美的工作！ –

我無法實現這個，因爲擴展的事情我猜..在我的asp.net mvc我的網址沒有擴展名。有沒有什麼辦法來解決這個問題。我刪除了擴展變量，並且沒有任何內容被抓取 –

我剛剛在GitHub上添加了我自己的php腳本[https://github.com/johnbe4/getSeoSitemap](https://github.com/johnbe4/getSeoSitemap）。它爬行整個網站。它會檢查所有內部和外部鏈接，將sitemap.xml和sitemap.xml.gz保存到您的服務器中。網址沒有限制。所有你需要的是PHP 5.4，SQL數據庫和服務器的cronotab訪問。 – John

我還沒有試過，但它說，它確實你在找什麼：http://www.phpclasses.org/package/5131-PHP-Crawl-a-site-a-build-a-sitemap.html

這個類可以用來抓取一個網站建立一個網站地圖。

它可以在頁面中找到的鏈接之後抓取具有給定URL的網站頁面。

該類可以使用找到的頁面的所有URL構建一個站點地圖XML文檔。

可以配置爬網鏈接的數量，允許的頁面擴展和不允許的鏈接URL參數。

來源

2015-01-11 05:30:04

其實我也嘗試這一點，但它根本不起作用上......甚至與源出的問題後，它會生成一個空的地圖。 –

嗯，對不起。 –

我在GitHub上添加了我自己的php腳本https://github.com/johnbe4/getSeoSitemap。
它抓取整個網站。
它檢查所有內部和外部鏈接，將sitemap.xml和sitemap.xml.gz保存到您的服務器中。
URL沒有限制。
所有你需要的是php 5.4，SQL數據庫和訪問服務器的cronotab。 – John

PHP通過抓取給定的站點來創建站點地圖

編輯：接受的答案在時間工作。劇本由作者改變。由於當時我問的問題，我寫我自己的實現此：https://github.com/knyzorg/Sitemap-Generator-Crawler/

回答

相關問題