1
插件正常工作與低容積主題發送大批量的主題,以谷歌的雲發佈訂閱麻煩,但對於高容量的有麻煩給錯誤:有使用fluentd插件
unexpected error error="The value for message_count is too large. You passed 1001 in the request, but the maximum value is 1000.
我改變了配置設置以下PARAMS: buffer_chunk_limit 2K flush_interval 1
即使緩衝塊限制爲2k,我仍然看到有更大的尺寸,彷彿塊限制沒有任何影響的緩衝文件。
我現在得到以下錯誤大批量主題:
2017-02-04 21:38:08 +0000 [warn]: temporarily failed to flush the buffer. next_retry=2017-02-04 21:38:03 +0000 error_class="Gcloud::Pubsub::ApiError" error="The value for message_count is too large. You passed 6915 in the request, but the maximum value is 1000." plugin_id="object:3fbb05554ad8"
2017-02-04 21:38:08 +0000 [warn]: suppressed same stacktrace
2017-02-04 21:38:09 +0000 [warn]: Size of the emitted data exceeds buffer_chunk_limit.
2017-02-04 21:38:09 +0000 [warn]: This may occur problems in the output plugins ``at this server.``
2017-02-04 21:38:09 +0000 [warn]: To avoid problems, set a smaller number to the buffer_chunk_limit
2017-02-04 21:38:09 +0000 [warn]: in the forward output ``at the log forwarding server.``
在輸出轉發文件我沒有看到大塊限制PARAM任何引用。而且我不確定我可以如何強制將更小的塊設置爲pubsub。
我尋找了一種增加pubsub限制的方法,但在pubsub文檔中找不到任何關於將日誌發佈到pubsub時顯示的fluentd錯誤顯示的1000限制的任何內容。
任何幫助表示讚賞。