hbase

0열

1답변

hbase 테이블 (MAP_INPUT_RECORDS = 30)에서 30 개의 행을 처리하는 하나의 맵 축소 작업을 실행하고 있습니다.이 테이블에는 11000 개의 영역이 있지만 언제든지 하나의 레코드가 우리 영역에 따라 단일 영역에 있습니다 분할 정책 (즉, 단일 레코드는 2 개 이상의 지역에 있지 않습니다). 여기에 로그에 매퍼 65 개가 더 많이 있습니

0열

1답변

내가 하이브 2.1.1을 사용하여 HBase를 액세스 할 사육사 앙상블

을 변경하는 방법을, 나는 명령을 사용하여 I는 표를 작성하려고하면 CREATE TABLE iteblog(key int, value string) STORED BY 'org.apache.hadoop.hive.hbase.HBaseStorageHandler' WITH SERDEPROPERTIES ("hbase.columns.mapping" =":key,cf1:

0열

2답변

importtsv를 사용할 때 mapreduce 작업 속도를 높이고 클러스터의 충돌을 피하는 방법은 무엇입니까?

저는 Hadoop 및 HBase의 초보자입니다. 'importtsv'를 사용하여 HBase에 대용량 데이터 (HDFS에 저장된 8GB tsv 파일)를 가져 오는 방법을 배우고 있습니다. 그러나, mapreduce 일은 진짜로 느린 것처럼 보이고, 장시간 후에, 실패했다. 파일이 너무 커서 클러스터가 다운 될 수 있습니다. 작은 TSV 파일을 사용하도록 변경

0열

1답변

Hbase의 열을 기준으로 어떻게 쿼리합니까?

아래의 표는 예제입니다. 나는 모든 레코드를 성으로 검색하고 싶다. Hbase에서 어떻게 쿼리합니까? Key First Name Last Name Sport 1 John Smith Baseball 2 Wayne Smith Baseball 3 Robert Reynolds Basketball 4 Mark Thompson Basketball 참고 :

0열

1답변

HBase 예외 클래스에서 스파크를 찾을 수 없음 (JAVA)

스파크를 사용하여 hbase와 통신하려고합니다. 미안 아래에이 코드를 사용 : SparkConf sparkConf = new SparkConf().setAppName("HBaseRead"); JavaSparkContext jsc = new JavaSparkContext(sparkConf); Configuration conf = HBaseConfigura

0열

1답변

HBase 멀티 스레딩 클라이언트 성능

의사 배포 모드에서는 hbase 1.2.4를 사용하고 정보를 읽으려면 java api를 사용합니다. 우리 고객은 hbase에 20k rps를 만들지 만, CPU의 30 % 만로드하고 계산에는 약 5 시간이 걸립니다. 나는 데이터를 분리하고 4 대의 클라이언트를 동일한 머신에서 별도의 jvm으로 실행하려고 시도했으며 약 1 시간의 계산 시간으로 80k rps

0열

1답변

Hbase 다중 데이터 센터 복제 - 사육사

복제 (재해 복구) 용 다중 데이터 센터 HBase 클러스터를 계획 중입니다. 클러스터 1 또는 마스터 클러스터는 다른 DC의 슬레이브 클러스터에 복제됩니다. 이러한 설정에서 두 클러스터는 다른 동물원을 사용하거나 두 데이터 센터에서 액세스 할 수있는 일반적인 동물원 인스턴스를 가리켜 야합니까? 가장 좋은 전략은 무엇입니까?

0열

1답변

Google 데이터 proc에서 bigtable에서 데이터를 읽는 방법

Google 클라우드 데이터 proc에서 Bigtable의 데이터를 읽지 않습니다. 아래 코드는 Bigdtable에서 데이터를 읽는 데 사용하고 있습니다. 내가 arg0.element를 호출하고 때마다 PipelineOptions options = PipelineOptionsFactory.fromArgs(args).create(); options

1열

2답변

HBase에 여러 개의 고유 한 ROWID가 있습니까?

HBase JAVA/Scala API를 사용하고 있으며, 목록 (1,2,5)의 목록을 가지고 있으며 해당 ID에 해당하는 행을 동시에 검색하려고합니다. 발 getOne는 = 새로운 가져 오기 (Bytes.toBytes ("1")) 하자 나 액세스 전용 1 행과 내가하고 싶지 않은 수 (1) 수 (2)과 수 (5) 순차적으로 (레이턴시). 한 번에 모든 작업

0열

1답변

HBase로 동물원을 배치하는 올바른 방법은 무엇입니까?

Hbase 및 따라서 사육사를 포함하려는 Hadoop 클러스터의 아키텍처를 정의하고 있습니다. 그러나, 내 hadoop 노드와 관련하여 내 Zookeeper 노드를 어디에 설치해야하는지 모르겠습니다. 여기 내 두 가지 가능성이 있습니다 첫 번째 가능성 : (내 하둡 클러스터 외부의 사육사 클러스터) 두 번째 가능성 : (내 하둡 클러스터 내에서 사육사 클러