cassandra大量寫入性能問題

2011-07-21 80 views 1 likes

我有4 GB RAM和2個4核CPU的服務器。當我開始在Cassandra中執行大量寫入時，所有工作都很好，但是在幾個小時後，每秒插入10K數據庫的數據庫增長到25+ GB，性能降至500插入每秒！cassandra大量寫入性能問題

我發現這是因爲壓縮操作非常緩慢，但我不明白爲什麼？我設置了8個併發壓縮線程，但Cassandra不使用8個線程;只加載2個核心。

感謝任何幫助。

2011-07-21 lebron2323

你在試這個嗎？ – sdolgy

如果我想大膽猜測，我會說你可能會用很多併發壓縮來完成你很小的堆。因此首先刪除一個併發壓縮，然後用這種信息更新您的問題：http://spyced.blogspot.com/2010/01/linux-performance-basics.html和Cassandra的StatusLogger正在寫入其系統的行.LOG – jbellis

回答

我們已經看到了卡桑德拉類似的問題是不合時宜的盒子，請參閱：

http://www.acunu.com/blogs/richard-low/cassandra-under-heavy-write-load-part-ii/

一個解決方案，以這些類的性能退化問題（但絕不是唯一的）是考慮不同的存儲引擎（如Castle）在上述博客文章（它的開源代碼（GPL v2））中使用，具有更好的性能並且更加優雅地降級。該代碼是在這裏（我只是推了卡桑德拉0.8支持的一個分支）：

https://bitbucket.org/acunu/fs.hg

，並就如何上手說明在這裏：

http://support.acunu.com/entries/20216797-castle-build-instructions

（全面披露：我爲Acunu工作，所以可能會有點偏頗;-)

來源

2011-08-19 14:17:44

相關問題

11. Cassandra的寫入性能方面的一致性水平
12. Cassandra插入/刪除問題
13. 「度量」的性能問題
14. 大寫問題
15. Spark +彈性搜索寫入性能問題
16. SQL插入性能問題
17. 在一個查詢中在cassandra中寫入大量數據
18. Hibernate屬性名大寫問題
19. fwrite和寫入大小的性能
20. Cassandra CPU性能
21. Cassandra blob性能
22. Cassandra的寫入性能VS Releational數據庫
23. Cassandra，HBase，MongoDB或Elastic Search的寫入性能是什麼
24. 向cassandra插入大量數據
25. Java大寫，小寫問題
26. Cassandra併發寫入
27. Cassandra：爲大文件創建blob問題
28. 大小寫問題
29. keyup大寫問題
30. Cassandra - 批量過大