從Facebook訪問大量數據

Question

因此，我正在研究一個Rails應用程序，並且我正在爲其設計人員，這看起來像是極其龐大的數據量需求。他們希望收集登錄到應用程序的用戶的所有帖子以及過去一年中每個朋友的所有帖子。

在向我傳達此特定級別的詳細信息之前，我使用fb_graph gem構建了該事物，並通過帖子進行分頁。我遇到了這樣的事實，即首先需要很長時間才能完成此操作，即使我更改每頁請求的帖子數時也是如此。其次，我經常遇到Oauth錯誤＃613，每600秒發出600多個請求。在將每個請求增加到200個帖子後，我減少了這個限制，但獲得所有這些數據仍需要很長時間。

我對FQL備選方案並不是特別熟悉，但在我看來，我們必須優先處理速度或數據量。有沒有一種方法可以讓我快速檢索這一級別的信息？

編輯：我將所有帖子保存到數據庫，因爲我檢索它們。所需要的是在過去的一年裏，爲了用戶和朋友，一次通過並抓取所有帖子。這個過程需要很長時間，我基本上想知道是否有什麼方法可以加快速度。

Answer 1

我想指出的一件事：
您應該爲用戶的帖子實現某種本地緩存。我的意思是，不要每次查詢帖子，都應該將帖子保存在本地數據庫中，並且只檢查新帖子（在需要的時候）。

這會更快並且可以節省很多API請求。