網絡爬蟲產生輸出緩存

Question

我實現：

<%@ OutputCache Duration="43200" VaryByParam="none" location="Server" VaryByCustom="RawURL" %> 

我已經得到了所有URL（約12000）可能在我的網站sitemap.xml的。

我會知道是否明智地創建一個應用程序，將解析我的網站地圖 爲了請求所有url？

目標是緩存我所有的網站以提高速度。

我精確我的問題：

每個頁面大約需要10秒創建和緩存持續時間和緩存持續時間爲12小時

Answer 1

如果時間動態地創建任何一個單獨的頁面比較快，那麼通過這樣做你可能不會獲得太多收益。

也許你最好只是在適度的時間限制（5-15分鐘）內將輸出緩存保留下來，以避免使用大量的內存，並且保持頁面新鮮（除非你有一個很好的方法來使輸出到期每次更新頁面時緩存）。如果一個頁面的流行度足以被頻繁訪問，那麼當一個人轉到該頁面時，它很可能會被緩存。