2012-03-27 92 views
1

從那裏的無sql技術中,哪一個更適合於高吞吐量插入?我相信這也取決於硬件,但我們假設我正在使用具有固定步長的亞馬遜羣集計算節點,並且理想情況下需要最少數量的節點。我需要的存儲系統可以提供20GB/min的插入,其中我的數據完全結構化,每行約爲110bytes。 理論上,我可以不確定地增加我的硬件來達到這個目的,但我想知道哪種技術更適合這種高通量插入?用於高吞吐量插入的NoSQL技術

回答

1

您希望查看完全分佈式的數據源,如HBase,Cassandra,MongoDB等。分片MySQL或其他關係數據庫也可以工作,假設您有足夠的分片。所以總而言之,你可能不想僅僅根據這一標準來做出決定。

0

想大聲

  • 簡單來說=>「20GB /分鐘」爲「350MB /秒」,使絕對要求要麼的10Gbit NIC,在情況下,它是在網絡上,和大量的緩存,因此RAM。

  • 鑑於費率和(小)消息大小,您可能不想處理GC,儘管支付解決方案(例如Azul)可能能夠維持它。

  • 最好要的節點最少數量」 =>這意味着傳統的水平縮放NoSQLs都出來了,除非100+節點可以被認爲是「最低」

  • 是否需要是NoSQL?手頭有什麼實際問題?這是批處理作業嗎(可接受的高延遲)?這是市場飼料嗎(例如的一些峯值是時間)?這是一個學校項目嗎?

  • 既然你想使用亞馬遜和想做的NoSQL,DynamoDB是值得嘗試,因爲它「保證」所需的吞吐量