0

共享存儲我們使用EC2EBS服務部署在AWS 應用。雲託管 - 直接訪問

  • 應用(帶負載平衡器)

  • 數據庫(主 - 從標準架構)

  • 媒體服務器(流)

  • : 由層(獨立實例)下降的基礎設施
  • 後臺處理(redis,delayed_job)

應用和EBS塊存儲設備(根,數據),它有助於我們連接/分離它們,並做EBS快照〜S3的數據庫實例使用數量。這是AWS工作原理的默認方式。

但EBS應位於特定區域,並且只能在同一時間附加到一個實例。

媒體服務器是瓶頸之一,所以我們想用主/從模式來擴展它們。因此,對於媒體服務器存儲,我們希望嘗試將分佈式文件系統連接到多個服務器。你有什麼建議?

回答

1

如果你不是Facebook或亞馬遜,那麼你沒有真正的理由使用像Hadoop或Cassandra那樣精心製作的東西。當你達到這樣的增長水平時,你將能夠負擔能夠爲你的問題選擇/設計完美解決方案的工程師。

與此同時,我強烈推薦GlusterFS用於分佈式存儲。這是非常容易安裝,配置和啓動和運行。此外,如果您當前正在從本地存儲器流式傳輸文件,那麼您會明白,GlusterFS還可以充當本地存儲,同時可供多臺服務器訪問。換句話說,不需要更改您的應用程序。

我無法告訴您具體應用程序的確切配置選項,但有很多可用的選項,例如分佈式,複製的條帶化數據。您還可以使用緩存設置來避免在每次請求時觸及磁盤等。

有一點需要注意,由於GlusterFS是其他存儲層(特別是Amazon)的層,因此您可能無法獲得令人印象深刻的磁盤性能。實際上它可能比現在要糟糕,爲了可擴展性...基本上,您可以更好地設計您的應用程序,以便爲已經擁有適用於您的應用程序類型的正確基礎結構的CDN提供流式媒體服務。這是需要思考的問題。

0

HBase/Hadoop

Cassandra

MogileFS

好同樣的問題(如果我理解正確的話):
Lustre, Gluster or MogileFS?? for video storage, encoding and streaming

有許多分佈式文件系統,只要找到一個你需要。
以上只是我個人知道的一部分(還沒有測試過)。

+0

值得一提的是,Hadoop和Cassandra的是/被使用的Facebook,亞馬遜和其他大的所以.. – Poni

+0

而且也有「項目伏地魔」通過LinkedIn使用 – Poni

+0

voldermort /卡桑德拉/ HBase的是數據庫,這是不是我尋求。您是否有在雲基礎架構中使用DFS的經驗?我可以選擇任何我發現並與我們的系統集成的DFS。再次,聽到有關工作解決方案和最佳實踐的信息會很棒。 – Anatoly