이 플러그인은 낮은 볼륨의 주제와 잘 작동 Fluentd에 플러그인

를 사용하여 Google 클라우드 pubsub에 높은 볼륨 항목을 보내는 데 문제가 있지만, 높은 볼륨의이주는 오류 문제가 PARAMS을 다음 buffer_chunk_limit 2K flush_interval 1이 플러그인은 낮은 볼륨의 주제와 잘 작동 Fluentd에 플러그인

버퍼 덩어리 제한 2K에도 불구하고, 나는 아직도 청크 제한은 어떤 영향을하지 않는 것처럼, 더 큰 크기를 갖는 버퍼 파일을 참조하십시오.

는 지금 높은 볼륨 주제에 대한 다음과 같은 오류를 얻을 : 출력 전달자 문서에서

2017-02-04 21:38:08 +0000 [warn]: temporarily failed to flush the buffer. next_retry=2017-02-04 21:38:03 +0000 error_class="Gcloud::Pubsub::ApiError" error="The value for message_count is too large. You passed 6915 in the request, but the maximum value is 1000." plugin_id="object:3fbb05554ad8" 
    2017-02-04 21:38:08 +0000 [warn]: suppressed same stacktrace 
    2017-02-04 21:38:09 +0000 [warn]: Size of the emitted data exceeds buffer_chunk_limit. 
    2017-02-04 21:38:09 +0000 [warn]: This may occur problems in the output plugins ``at this server.`` 
    2017-02-04 21:38:09 +0000 [warn]: To avoid problems, set a smaller number to the buffer_chunk_limit 
    2017-02-04 21:38:09 +0000 [warn]: in the forward output ``at the log forwarding server.``

나는 청크 제한 PARAM에 대한 참조를 볼 수 없습니다. 그리고 나는 작은 덩어리가 어떻게 pubsub에 설정되도록 할 수 있는지 잘 모르겠습니다.

pubsub에서 한계를 늘리는 방법을 찾았지만, pubsub 문서에서 로그를 pubsub에 게시 할 때 유창 오류가 표시하는 1000 한계를 찾을 수 없습니다.

도움을 주시면 감사하겠습니다.

출처

2017-02-04 FZF