反覆有效地訪問第三方網站

我必須每天收集100,000+用戶的twitter狀態。就像訪問每個用戶的Twitter一樣。我想知道什麼是最有效的方式使用PHP和MySQL（我使用Yii PHP框架）？謝謝！反覆有效地訪問第三方網站

2011-07-27 Jasmine

您嘗試了什麼，或者您拒絕了哪些想法，因爲它們「效率低下」？ –

你最好要求Twitter獲得許可......他們不會像你每天10萬次在服務器上敲打一樣，連續幾天/幾周/幾個月：https：//dev.twitter.com/docs/twitter-libraries＃php –

看看Yii緩存功能：http://www.yiiframework.com/doc/guide/1.1/en/caching.data有很多方法，磁盤，mysql，redis等等，最適合你的取決於你的設置，但肯定有某種緩存策略會在獲取第三方數據。

2011-07-27 20:59:09 ldg

我打算運行cron作業來訪問用戶的twitter數據。我打算每天凌晨1點運行該cron作業，但我猜這是服務器上的一大負擔。還有什麼我可以做的嗎？ – Jasmine

這實際上取決於您獲得的數據類型以及是否需要對該數據進行任何處理等。如果要獲取某些用戶特定的數據以顯示給用戶，則可能需要等到他們請求它，然後將其緩存一段時間，這會分散負載並只刷新需要它的用戶。如果需要所有數據，您仍然可以執行cron作業，然後根據需要刷新特定用戶數據（+緩存）。 – ldg

我正在處理數據。比如測量一分鐘內做了多少個狀態，以及一個月內特定時間的狀態數量變化的百分比是多少等，所以我正在計算數據。謝謝！ – Jasmine

回答