tez

4열

1답변

파티션 된 특정 열이있는 테이블에서 아래의 하이브 쿼리를 실행하는 경우 하이브가 전체 테이블 스캔을 수행하지 않고 메타 데이터 자체의 결과를 알아 내야합니다. 이 방법을 사용할 수 있습니까? 나는이 쿼리를 실행하고 때 지금 Select max(partitioned_col) from hive_table ; , 그 발사지도 작업을 줄이고 나는 그것이 아주

0열

1답변

salesforce에서 데이터를 추출하는 동안 작업을 매핑하는 작업이 하나뿐입니다.

Datameer의 여러 추출 작업 (Rapid ETL/BI 도구, hadoop 상단에 위치)이 salesforce 객체에서 데이터를 읽습니다. 가장 큰 추출물은 1.4GB (작업 개체)이고 가장 작은 추출물은 96MB (계정 개체)입니다. Datameer는 REST API 기반 커넥터를 사용하며 커넥터에 SOQL 쿼리가 제공되고 그에 따라 레코드가 페치됩니

0열

1답변

돼지 스크립트에서 시작된 매퍼 및 리덕터의 수를 확인하십시오.

호톤 웍스의 샌드 박스 VM을 사용하여 Hadoop 서비스를 실행 중입니다. Tez 모드에서 Pig 필터 스크립트를 실행했습니다. Hive과 달리 Pig 로그 (콘솔)에는 실행중인 맵퍼 수 &에 대한 정보가 표시되지 않습니다. 나는 틀린 장소를보고 있는가?

1열

2답변

하이브 쿼리 BlockMissingException

TEZ 및 MapReduce 실행 엔진에 문제가 있습니다. 둘 다 사용 권한과 관련이있는 것으로 나타나지만 나에게있어서 나는 길을 잃는다. 내가 TEZ를 통해 실행하면 나는이 메시지 : org.apache.hadoop.hdfs.BlockMissingException : BP-300459168-127.0.1.1-1478287363661 : blk_107374

0열

1답변

슬라이더를 사용하지 않고 LLAP 용 Apache Hive 구성

하이브에는 LLAP이라는 새로운 기능이 있습니다. 조사 중에 LLAP를 구성하는 것이 매우 어렵다는 것을 알게되었으므로이를 구성 할 Apache Slider라는 구성 요소가 있습니다. 슬라이더가없는 수동 구성에 대한 설명서는 아직 찾을 수 없습니다. https://cwiki.apache.org/confluence/display/Hive/LLAP

1열

1답변

외부 테이블에 삽입 할 수 있습니까

저희 회사의 생산 환경에서 Big Data 코드를 디버깅하고 있습니다. Exception: org.apache.hadoop.hive.ql.lockmgr.LockException: No record of lock could be found, may have timed out Killing DAG... Execution has failed. Excepti

1열

1답변

하이브에서 버켓팅이 작동하지 않습니다.

저는 버킷 열을 가지고 있으며 모든 매개 변수를 설정 한 후에도 성능상의 이점을 얻지는 못합니다. 다음은 내가 사용하고있는 버킷과 내가 작성한 버킷입니다. 계획 결과를 설명해주었습니다. select count(*) from bigtable_main a inner join big_cnt10000 b where a.srrecordid = b.srrecordi

1열

1답변

하이브 : 나는 3 개 부분 파티션 <strong>(DT, 서비스 _, 태양 광 발전) 나는 다른에 새 테이블을 만들</strong></p> <p>이있는 하이브 테이블이

새 테이블로 HDFS와로드에 쿼리 결과를 저장 원래 테이블의 필터링 된 데이터가있는 데이터베이스. (파티션에 사용되는 열을 기준으로 필터링) 그래서 나는이 INSERT OVERWRITE DIRECTORY '/user/atscale/filterd-ratlog' SELECT * FROM rat_log_normalized WHERE dt >= '2016-05-0

0열

1답변

하이브 2.1 올바르게 평가할 수 없습니다. NULL 맵

하이브 2.1에서 NULL 맵을 확인하는 해결 방법을 찾으려고합니다. 지도 안의 키를 검사 할 때 정확한 결과를 얻습니다. 여기에 나는 또한 결과를 평가하고 노력하고있어입니다 : hive> select request_params, request_params is null from dcs_log_pday_s3 where pday='2016-11-24' an

0열

1답변

tez buil error - shufflehandler

Hadoop 2.6.0-cdh5.10.0을 기반으로 Tez-0.8.4를 설치하고 있습니다. 이 오류가 발생했습니다. maven으로 Tez 소스를 만들려고 할 때 도와주세요. /apache-tez-0.8.4-src/tez-ext-service-tests/src/test/java/org/apache/tez/shufflehandler/ShuffleHandler.