0

약 90 또는 100 호출 결과를 QPS 제한 안타Google 클라우드 펍에서 Google 클라우드 펍/하위 구글 앱 엔진 애플리케이션에서 초당</p> <p><code>pubsub_client.projects().topics().publish(topic='projects/xxxx',body=body).execute(num_retries=0)</code></p> <p>초당 너무 빨리

HttpError: <HttpError 429 when requesting https://pubsub.googleapis.com/v1/projects/xxxx:publish?alt=json returned "Request throttled due to user QPS limit being reached.">

나는 100 QPS에서 관리 운영에 한계가 알고 있지만, 확실히 주제에 게시하는 관리 작업을하지? 나는 pub/sub가 초당 수백만 번의 작업을 지원해야하므로 잘못된 것이 있음을 알고 있습니다.

도움이나 통찰력을 주시면 감사하겠습니다. pubsub를 사용하여 기존 구현을 간소화하기 위해 초당 최소 300 건의 게시를해야합니다. 나는 이것이 구현 버그일지도 모른다고 생각한다.

Google App Engine 파이썬 2.7에서이 코드를 실행하고 있습니다. appengine 런타임을 사용해야합니다. 아직 프로덕션 코드로 승인되지 않은 유연한 API가 아닙니다.

답변

0

게시자 할당량은 QPS와 관련이 없지만 처리량 측면에서 유의하십시오. 기본 제한은 100MB/s입니다. 자세한 내용은 Quotas documentation을 참조하십시오. 전송중인 메시지 크기에 따라 이러한 제한이있을 수 있습니다.

A가 게시에 메시지는 일반적으로 세 가지 중 하나를 의미한다 "사용자 QPS의 한계에 도달하고": 기본 100메가바이트/s의 할당량보다 높은 처리량으로 게시

  1. . 그렇다면 Pub/Sub Quota 페이지에서 '더 큰 저장 용량 적용'을 클릭하여 더 많은 저장 용량을 신청할 수 있습니다.

  2. 올바른 Cloud 프로젝트에 대해 인증되지 않았습니다. 주제가 정의 된 프로젝트와 다른 클라우드 프로젝트에서 Google App Engine 인스턴스를 인증하거나 실행할 경우 기대하는 프로젝트에 실행중인 할당량이 정의되지 않을 수 있습니다. 자세한 내용은 Google Application Defaults Credentials page에서 확인할 수 있습니다.

  3. 수동으로 할당량을 Quota page (으)로 설정 했으므로 실행중인 한도입니다.

+0

1) 각 메시지는 약 100 바이트입니다 (몇 개의 키/값이 json으로 변환 된 다음 b64로 인코딩 됨). 그래서 그렇지 않습니다. 300 * 100 = 30kb/sec 2) 기본 자격 증명을 사용하고 .json 파일의 특정 자격 증명을 사용하려고했는데 두 경우 모두 같은 문제가 발생했습니다. 3) 수동으로 할당량을 설정하지 않았지만이를 확인합니다. 다음은 빠른 후속 질문입니다. 하나의 주제에 게시하는 데 한계가 있습니까? 나는 하나의 주제로만 출판하고 있습니다. – Aerodyno