네이티브 FS를 사용할 때 HBase 대량로드

HBase 데이터베이스의 기존 인스턴스에 대해 실행해야하는 HBase sql 문의 많은 목록이 있습니다.네이티브 FS를 사용할 때 HBase 대량로드

SQL 문은 일반 텍스트로되어 있으며 데이터베이스는 HDFS 대신 원시 파일 시스템에서 실행됩니다. 따라서 Hadoop 인스턴스를 실행하지 않습니다.

현재 hbase 쉘에서 SQL 문을 실행하고 있지만 프로세스가 매우 느립니다. Hadoop이 실행 중인지 확인하면 매퍼에 병렬 삽입을 할 당할 수 있지만 Hadoop 인스턴스를 사용하지 않고 대량로드를 수행하는 더 빠른 방법이 있습니까?

2013-03-10 Lazer

Hadoop (보다 구체적으로 MR)은 대량 데이터 (빅 데이터)의 빠른 처리를 위해 설계되었으므로 요구 사항에 적합합니다.

HDFS에서 StoreFiles를 작성한 다음 CompleteBulkLoad 메소드를 사용하여 StoreFile에서 테이블로 데이터를로드하십시오.

Hadoop 인스턴스를 사용하지 않는 구체적인 이유는 무엇입니까?

2013-03-21 05:42:05 Gargi

은 HBase를 대량위한 ImportTSV API는

여기

내가 HDFS 데이터를 업로드 시도 ImportTSv의 API의 예입니다 업로드 제공합니다. 로컬 파일 시스템에서 ImportTSV를 사용하여 데이터를 업로드 할 수 있습니다. 그렇다면 HDFS 상단에 Hbase을 실행하십시오

2013-03-21 05:48:05

답변