減輕爬蟲網頁負載

在共享主機上，我遇到了高CPU /頁面加載時間。 Wincachegrind和螢火蟲表明，瓶頸是：減輕爬蟲網頁負載

- db queries (time) 
- images loading (time) 
- Wordpress plugins/filters (CPU)

我已經安裝了WP Supecache，但我已經注意到這個問題已在別處轉移：由於該網站有帖子的大量（> 50000）的時間& CPU消耗任務已轉移到WP Supercache生成靜態文件，在爬蟲訪問。具有諷刺意味的是，該網站每天（約1,000）用戶訪問量非常少，同時每天遭受大量爬蟲訪問（谷歌網站管理員顯示MAX：23,669 /平均：11,712/MIN：4069頁的統計數據）。

我在考慮幫助抓取頁面階段，避免在抓取頁面時加載頁面的某些元素/部分。例如，圖像和「相關帖子」，而不是「索引過程的」戰略「....可以」延遲加載「這些部分有幫助嗎？

或？什麼步驟，你將採取進一步的假設：

- the users traffic to the site is very small, 
    not justifying stepping to costly dedicated/CDN solutions 
- Efforts have been taken to minimize plugin impact 
- Page design has been improved using CSS sprites, source minifying, 
    using consistent host names, etc, etc pushing page score 
    to higher limits (Yslow, pagespeed)

我相信，下一步將是使用WordPress作爲後端，營造一個較低的水平編碼前端（PHP + MYSQL）....

評論贊賞

來源

2011-03-09 Riccardo

我已經切換到一個動態頁面，其內容用jQuery加載。這減少了頁面加載時間到1/3！太棒了！

來源

2011-03-15 15:05:31 Riccardo

減輕爬蟲網頁負載

回答

相關問題