2016-11-18 17 views
0

RDBMS에서 Hbase로 대량 데이터를 마이그레이션하는 동안 영역 분할이 너무 자주 발생 할 가능성이 있습니까? 더 많이 발생하면 쓰기 성능과 읽기 성능에 반드시 영향을 미칩니다.벌크로드 마이그레이션 중 영역 분할

나는이 부분 분할을 어느 정도 피할 수있는 사전 분할을 알고 있습니다.

우리의 제품 디자인에서는 먼저 Hbase (6 개월이 될 수도 있음)에 새 데이터를 쓰고 새로운 데이터에 대한 읽기 및 쓰기가 안정적인 Hbase 시스템을 사용하면 RDBMS에서 Hbase. 이 단계에서는 데이터가 너무 커서 읽기 쓰기 성능에 영향을 미치기 때문에 너무 자주 영역 분할이 발생할 수 있습니다.

사용자 당 순서대로 행 키가 증분됩니다. 다른 사용자의 경우 다른 방식으로 시작됩니다.

데이터 마이그레이션 중 서버 성능을 유지하려면 몇 가지 해결책을 제안하십시오.

답변

0

나는 hbase을 사전 분할하지 않을 것을 제안합니다. 이 제품의 핵심 기능 중 하나는 자동 샤딩입니다. 분할은 꽤 빠른 작업이지만 압축을위한 경로에 놓습니다. hbase의 힙 압축이 제대로 작동하지 않는 것을 발견했습니다. Splice Machine (오픈 소스)에서 압축을 Spark로 이동 시켰으며 hbase의 작업에 거의 영향을주지 않습니다.