HBase 멀티 스레딩 클라이언트 성능

Question

의사 배포 모드에서는 hbase 1.2.4를 사용하고 정보를 읽으려면 java api를 사용합니다. 우리 고객은 hbase에 20k rps를 만들지 만, CPU의 30 % 만로드하고 계산에는 약 5 시간이 걸립니다. 나는 데이터를 분리하고 4 대의 클라이언트를 동일한 머신에서 별도의 jvm으로 실행하려고 시도했으며 약 1 시간의 계산 시간으로 80k rps를 가졌다. 이것은 나를 만족시키는 해결책이 아닙니다. 프로파일 링으로 인해 연결 스레드가 차단되었습니다. 또한 hbase 클라이언트의 ipc 풀 옵션을 사용하려고했지만 성능이 너무 많이 향상되지 않았습니다. 누구나 비슷한 점이 있다면 조언 해주세요.

Answer 1

연결 풀 크기를 설정하면 읽기 스레드 수가 훨씬 많아 트릭을 만들었습니다.

Configuration conf; 
... 
String poolSize = "128"; 
conf.set(HConstants.HBASE_CLIENT_IPC_POOL_SIZE, poolSize); 
conf.set(HConstants.HBASE_CLIENT_IPC_POOL_TYPE, "RoundRobin"); 
... 
Connection conn = ConnectionFactory.createConnection(conf); 
...