빠른 값 확인?

Question

50,000,000 개가 넘는 512 비트 값 목록이 있습니다.

데이터 스트림이 초당 1,750,000 개의 값을 가지고 있으므로, 각 값이 앞의 목록에 있는지 확인해야합니다.

현재 키의 EXISTS 명령을 사용하여 hiredis를 통해 redis를 선택했습니다. 꽤 빠르며 초당 ~ 160,000 개의 값을 확인합니다.

그러나 병목 현상을 유발할 수 있으므로이 작업을 10 배 더 빠르게 수행해야합니다. 어떤 아이디어?

Answer 1

Bloom Filter과 같은 사운드는 입력 스트림의 대부분의 값이 목록에없는 것으로 가정하면 목록에없는 값을 차단하는 데 유용 할 수 있습니다.