如何處理海量數據集並提供實時用戶體驗

Question

我是一家主要製作工具的網絡營銷公司的程序員。這些工具有certian要求：

• 他們在瀏覽器中運行，必須在所有這些工作。
• 用戶要麼上傳某些東西（.csv）來處理它們，要麼提供一個URL並調用API來檢索關於它的信息。
• 他們正在移動數千行數據（認爲大型數據庫）。這些工具通常會在幾個小時內運行，通常會在夜間運行。
• 用戶必須能夠在處理他們的信息並向他們呈現時觀看直播。

目前我們正在寫PHP，MySQL和Ajax。

我的問題是如何處理大量的數據並在工具運行時提供用戶體驗。目前我使用自定義隊列系統發送ajax調用並將行插入表或數據到div中。

這種方法是在屁股巨大的痛苦，不可能是正確的方法。我應該使用模板系統還是有更好的方法來刷新大量數據的頁面塊。我的意思是很多數據，因爲我們已經接近最大化PHP內存，並且是我們一直在尋找的東西。

此外，我很想做到這些工具可以自己運行在服務器上。我的意思是上傳一個.csv並關閉瀏覽器窗口，然後在工具完成時發送一封電子郵件給用戶。

有沒有人有任何比使用.ajax調用更好的方法（編程標準）？謝謝。

---

我想更新一些筆記，因爲任何人都有同樣的問題。我期待到下面，看看哪個是最好的解決辦法：

• SlickGrid /數據表
• 的Gearman
• web套接字
• 棘輪
• Node.js的

這些都是沒有特別的順序，我選擇的將取決於我的問題是什麼，以及我的其他部門可以使用什麼。我會在選擇黃金框架時進行更新。

Answer 1

首先，你不能通過Ajax處理大數據。爲了讓用戶能夠實時觀看流程，您可以使用網絡套接字來執行此操作。正如你在PHP方面經驗豐富，我可以建議你Ratchet這是相當新的。

在另一方面，爲了使計算和存儲大數據，我會用NoSQL的替代MySQL的

Answer 2

因爲你是那種掐時間已經，遷移到Node.js未必是時間敏感。它還會幫助告知用戶何時結果準備就緒，因爲它可以在不進行輪詢的情況下進行瀏覽器通知推送。由於它使用Javascript，你可能會發現你的一些客戶端代碼是可重用的。

Answer 3

我想你可以用某種隊列管理器在後臺運行你所需要的東西。我使用類似於CakePHP的東西，它使我可以異步地在後臺運行時間密集型進程，因此瀏覽器不需要打開。

另一個方面是它的可擴展性，因爲它很容易增加隊列工作人員的數量。

基本上使用PHP，您只需要一個每隔一段時間運行一次的cron作業，該作業啓動一個爲隊列數據庫檢查待處理任務的工作人員。如果沒有找到，它會一直運行，直到出現。