openstack中的雲共享內存管理

我打算使用python進行數據分析，其大小爲2TB。我的本地計算機沒有足夠的內存。是否有可能通過使用OpenStack來設置雲並讓羣集共享其內存？任何示例？openstack中的雲共享內存管理

2012-11-10 au zaest

你的問題太寬泛，並沒有顯示你的嘗試。也許它可以在你的機器上完成。這就是爲什麼你會被拒絕。不要灰心;如果你願意投入適量的努力，SO是一個偉大的社區。 –

我已經在我自己的機器上嘗試過4GB內存。當我處理2TB數據時，內存已經不足了。另一方面，我考慮使用hadoop，但map-reduce需要我重新編碼所有內容，即使是簡單的計數函數。這就是爲什麼共享內存系統可以提供幫助的原因，這可能會盡可能擴大內存。 –

不，你不能用OpenStack做到這一點。

你所描述的是一個distributed shared memory系統。我相信ScaleMP銷售一種名爲vSMP的產品。請注意，歷史上，由於存在稱爲false sharing的問題（我不知道這會影響ScaleMP，我從未使用過它），因此要從分佈式共享內存系統中獲得良好性能非常困難。

您還可以購買更昂貴的系統，並配備支持分佈式共享內存的專用硬件，如SGI UV。

您可能最好修改代碼以利用Hadoop或MPI之類的功能。

2012-11-11 02:06:15

那麼，你可以在你的雲實例內部實現。

你基本上可以創建很多實例，每個實例都有一個大的ramfs。然後將所有ramfs放置在許多節點上，形成一個網絡分佈式文件系統，如openAFS，gluster或luster。

這將是一種方法。

2012-12-20 21:44:04

回答