우리는 우리의 HBase를 클러스터의 피닉스와 HBase를-인덱서를 사용하고 우리는 피닉스 보조 인덱스에 대한 호기심이 현상을 발견했다 :Phoenix Secondary Indexes는 WAL 로그를 특별히 처리합니까?
우리는이 세계에 하나 개의 테이블 (C_PICRECORD)로 (CSV 데이터를 가져올 사용 psql의) 데이터를 넣어 phoenix에서 변경 가능한 인덱스 테이블 (C_PICRECORD_IDX1 및 C_PICRECORD_IDX2)을 만들고 hbase-indexer를 사용하여 solr에 데이터를 복제하십시오. 데이터 가져 오기가 끝나면 solr 문서 numfound가 hbase 테이블 행 수와 다른 것을 발견했습니다. 인덱스 테이블을 삭제하고 데이터를 지우고 데이터를 다시 입력하면 solr 문서 numfound가 hbase 테이블 행 수와 동일하다는 것을 알게되었습니다.
최근에 우리는 solr 문서의 numfound가 hbase 테이블 행 수와 다른 이유를 발견했습니다 : 1) phoenix에서 두 개의 전역 인덱스 테이블을 사용하여 데이터 가져 오기 (psql) !
2) solr과 hbase 사이의 일관되지 않은 행 수에 대한 이상한 현상은 데이터 테이블에 보조 색인이있는 경우에만 발생합니다.
오랫동안 우리를 괴롭 히고 피닉스 2 차 지표를 사용할 때 뭔가 다른 것으로 보입니다.
내 질문은 : 피닉스 보조 색인은 WAL 로그를 특별히 처리합니까?
우리 ENV :
cdh5.4.2 HBase를-1.0.0-cdh5.4.2 phonenix-4.6 HBase를-SOLR-1.5-cdh5.4.2 (HBase를-인덱서)
클러스터 : 3 HBase와의 regionserver 3 HBase를 인덱서
[팁]
HBase를 인덱서는 HBase를 복제에 기초 SOLR에 데이터를 넣을. 그것은 WAL 로그를 잡고 solr에 관심있는 데이터를 넣을 것입니다. hbase-indexer github : https://github.com/NGDATA/hbase-indexer