Loggly的最大吞吐量是多少？

Question

Loggly可以處理多少次來自客戶端的請求？我每秒只能處理10-20個請求，我想知道這是否正常。

Answer 1

我只是跑了一堆測試，發現它不能通過使用syslog-ng的tcp連接真正處理太多。

這裏是我的測試結果，任何人想要嘗試它。 我使用了balabit的「loggen」程序併發送了200字節的消息到loggly分配給我的tcp端口。 請注意，儘管系統日誌RFC（至少3164）聲明日誌消息不應超過1024個字節，但我使用了200個字節的數據包只是公平的，因爲許多消息都很小。

註冊一個免費帳戶。 配置TCP連接進行測試。 嘗試發送各種量，結果：

測試1：FAIL

loggen -iS -r 6000 -s 200 -I 100 logs.loggly.com 16225 
Send error Broken pipe, results may be skewed.  
average rate = 1392.13 msg/sec, count=18296, time=13.142, (average) msg size=200, bandwidth=271.74 kB/sec 

試驗2：FAIL

loggen -iS -r 4000 -s 200 -I 100 logs.loggly.com 16225 
Send error Broken pipe, results may be skewed.  
average rate = 2767.16 msg/sec, count=121146, time=43.779, (average) msg size=200, bandwidth=540.15 kB/sec 

試驗3：FAIL

loggen -iS -r 2500 -s 200 -I 100 logs.loggly.com 16225 
Send error Broken pipe, results may be skewed.  
average rate = 1931.27 msg/sec, count=85878, time=44.467, (average) msg size=200, bandwidth=376.98 kB/sec 

測試4：FAIL

loggen -iS -r 2000 -s 200 -I 100 logs.loggly.com 16225  
Send error Broken pipe, results may be skewed.  
average rate = 1617.72 msg/sec, count=83134, time=51.389, (average) msg size=200, bandwidth=315.78 kB/sec 

測試5：FAIL

loggen -iS -r 1000 -s 200 -I 100 logs.loggly.com 16225 
Send error Broken pipe, results may be skewed.  
average rate = 936.50 msg/sec, count=63331, time=67.624, (average) msg size=200, bandwidth=182.81 kB/sec 

試驗6：PASS爲持續時間配置，失敗>百秒 - 見試驗7

loggen -iS -r 500 -s 200 -I 100 logs.loggly.com 16225 
average rate = 325.00 msg/sec, count=32501, time=100.001, (average) msg size=200, bandwidth=63.44 kB/sec 

測試7：FAIL - 冉一個新的測試@ 500

loggen -iS -r 500 -s 200 -I 10000 logs.loggly.com 16225 
Send error Broken pipe, results may be skewed.  
average rate = 323.35 msg/sec, count=82642, time=255.577, (average) msg size=200, bandwidth=63.12 kB/sec 

測試8：EPS一段較長的時間和管道255秒爆發後FAIL（RAN更長@ 200個EPS，但還是失敗了）

loggen -iS -r 200 -s 200 -I 10000 logs.loggly.com 16225 
Send error Broken pipe, results may be skewed.  
average rate = 163.53 msg/sec, count=234090, time=1431.470, (average) msg size=200, bandwidth=31.92 kB/sec 

測試9：FAIL（再次，運行長，但還是失敗了）

loggen -iS -r 50 -s 200 -I 10000 logs.loggly.com 16225  
Send error Broken pipe, results may be skewed.  
average rate = 47.36 msg/sec, count=89325, time=1886.014, (average) msg size=200, bandwidth=9.25 kB/sec 

測試10：失敗？ （相同的結果，但又失去了聯繫。很難相信他們不能處理10 eps？）

loggen -iS -r 10 -s 200 -I 10000 logs.loggly.com 16225 
Send error Broken pipe, results may be skewed. 
average rate = 9.94 msg/sec, count=1568, time=157.770, (average) msg size=200, bandwidth=1.94 kB/sec 

做了一些網絡搜索，看看有什麼loggly實際上可以做，但有唯一的營銷材料說，這是可擴展的，它不是如何擴展。 我沒有發現這樣的： http://twitter.com/jordansissel/status/5948244626509824 其中只有每秒22事件......

全面披露：我LogZilla的創始人，所以我測試了競爭，因爲我們正在推出一個基於雲的系統日誌的解決方案。 我的測試表明，我們的軟件能夠處理每秒2,000到12,000個事件，具體取決於我們在雲中使用的服務器。

Answer 2

我真的不知道，但我一直在尋找一個node.js的日誌記錄解決方案，但也沒有運氣。

爲什麼？

因爲我檢查過的所有那些（沒有檢查全部）正在使用同步磁盤寫入！ ...... AWFULLY會降低性能。

所以，如果你問我 - 你應該重新考慮你的需求，並只記錄你真正需要的東西。

Answer 3

我跑的測試與Clayton answer的測試類似，因爲他的結果讓我擔心Loggly會因爲同時發送太多而丟棄信息。我想看看克萊頓在2012年遇到的問題是否仍然存在。

也就是說，這裏是我發現運行loggen 60秒每秒產生100,000條消息。

$ loggen -iS -r 100000 -s 200 -I 60 logs-01.loggly.com port 
average rate = 34885.98 msg/sec, count=2093163, time=60.000, (average) msg size=200, bandwidth=6809.74 kB/sec 

我也好奇什麼一些競爭者將返回類似的測試，我發現：

​​

loggen -iS -D -r 100000 -s 200 -I 60 logs2.papertrailapp.com PORT 
average rate = 24344.71 msg/sec, count=1461327, time=60.026, (average) msg size=200, bandwidth=4752.09 kB/sec 

Logentries

$ loggen -iS -D -r 100000 -s 200 -I 60 api.logentries.com PORT 
average rate = 14076.76 msg/sec, count=844609, time=60.000, (average) msg size=200, bandwidth=2747.78 kB/sec 

顯然，這些並不是硬數字，隨着時間的推移，這些數字將始終與系統變化相同。這只是給我們提供了他們在運行測試時如何迴應的時間點。你的里程會有所不同！

更新：我跑更長的（近3小時），測試對Loggly並取得了以下：

loggen -iS -r 100000 -s 200 -I 10000 logs-01.loggly.com port 
average rate = 15869.22 msg/sec, count=158692177, time=10000.000, (average) msg size=200, bandwidth=3097.67 kB/sec