基於雲的LAMP集羣

Question

我運行了一個非常定製的集羣，用於處理基於LAMP基本設計的大量科學數據。一般來說，我運行一個單獨的MySQL服務器，大約有128GB的RAM和大約1TB的存儲空間。另外，我運行一個頭節點作爲我的進程的數據輸入的nfs掛載點，以及一個顯示結果的web服務器。最後，我嘗試了幾個計算節點，它們從mysql表中獲取它們的作業，從NFS獲取數據，做一些繁重的工作，然後將結果放到mysql中。

我遇到過一個數據集，我想處理的數據集非常大（1TB的輸入數據），而且我沒有真正的硬件來處理它。因此，我開始研究谷歌計算引擎等，以及擴展實例來快速處理這些數據的前景，結果存儲在一個mysql實例中。完成後，mysql表可以從雲中轉儲出來，然後在本地進行分析。我將沒有問題部署一個MySQL服務器，以及其餘的LAMP部分和計算節點，但我無法弄清楚我將如何在雲中執行此操作。

一個主要的問題似乎是缺少讀/寫NFS，這會讓我將數據轉移到多個實例上，然後將結果推送到MySQL。這對我來說是一個必要的步驟，因爲我可以從Web服務器中排列數百個作業，然後通過連接到集中的mysql實例來查找實例需要的作業，然後讓實例（多達50-100個）選擇作業做和數據在哪裏。處理數據（發生文件轉換，使寫入部分變得必要），緊縮數據，然後將結果加載到mysql。我希望我能清楚地解釋我的情況。這似乎是一個CPU密集型進程的好例子，它可以很好地在雲中進行擴展，我似乎無法把所有的東西放在一起......任何輸入都會被讚賞！