클라이언트 코드가 여러 시스템에서 실행될 때 서비스 호출의 상한을 보장하는 방법은 무엇입니까?

Question

API getName (String id)을 사용하여 편안한 서비스 X가 있다고 가정합니다. 내 코드는로드 밸런서 뒤에있는 5 대의 시스템에 배포됩니다. 이 클라이언트에서 동일한 클라이언트 코드가 실행되고 getName (String) API에 대해 서비스 X를 호출하는 어딘가. 이 서비스는 초당 최대 3 개의 통화를 처리 할 수있는 제한을두고 있습니다. 요청 시간이 200ms라고 가정 할 때 클라이언트가 서버의 3TPS 제한을 초과하지 않도록하려면 어떻게해야합니까? 내 고객이 서로 의사 소통 할 수있는 메커니즘이 없습니다. 서버 쪽에서 조절을 방지하려면 어떻게합니까? 내 함대 크기를 5에서 10 또는 15로 늘리면 어떻게 될까요? 내가 할 수있는 일이 있니?

저의 경우 기하 급수적 인 지수 감소 백 오프 작업과 같은 것이 있습니까?

Answer 1

세션의 마지막 3 요청 중 요청 도달 시간 을 저장하면됩니다. 그런 다음 네 번째 요청이 해당 1 초 창 내에 있는지 확인하십시오.

가정 T0는 ...-- T3이 타임 라인 (밀리 초)에서 4 요구 인

----- ----- T1 T2 ---- ---- T0

if ((t0 - 1000) > t3) { 
    //4th req within 1 sec, so process the request 
} else { 
    //return HTTP status code 502(service temporarily overloaded) 
} 

로드 밸런서를 통해 스로틀하려면

: 하나의 솔루션으로 모든 API 인스턴스에 공통적 일부 API/스토리지를 사용하는 것입니다.