hadoop-partitioning

0열

1답변

하둡 맵리 듀스 독특한 패턴이 나는 독특한 패턴을 구현하기 위해 노력하고있어 중복 키

을 생산하고 있습니다. 나는 다음과 같은 출력받을 context.write(key, new IntWtitable(key.hashCode()); : 나는에 방출하면 키와 해시 감소 이론적으로 key1 -1808937256 key2 -768063202 key3 906064410 key2 -768063202 key3 906064410 을 출력 단지

0열

1답변

mapreduce 작업이 완료되면 _temporary 디렉토리가 출력 위치에서 삭제되지 않습니다.

MapReduce 작업을 통해 데이터를 분석하기 위해 데이터를 구문 분석하고 있습니다. 구문 분석 된 데이터는 일괄 처리 형식으로 제공됩니다. 스파크 스트리밍 작업을 통해 하이브 외부 테이블에로드됩니다. 이것은 실시간 프로세스입니다. 오늘 _temporary 디렉토리이 하이브 테이블에로드되지 않아서 출력 위치에 생성 된 것과 같이 비정상적인 이벤트가 발생하

0열

1답변

하이브에있는 기존 파티션의 작은 파일을 병합하는 방법은 무엇입니까?

파티션 중 하나에서 기존 파티션의 작은 파일을 하나의 큰 파일로 병합하는 방법. 예를 들어, 테이블 user1이 있고, 열은 fname, lname이고 파티션 열은 day입니다. ; 나는 스크립트 이하로 사용하여 (일 int)를 parittioned 표 USER1 (FNAME 문자열, LNAME 문자열)를 만들 테이블을 만들었습니다 partion 테이블에

1열

1답변

하이브의 파티션 테이블에서 다른 열을 선택하여 열 값을 덮어 쓰는 방법

하이브에서 같은 파티션 테이블을 선택하여 열 값을 덮어 쓰는 방법. I 쿼리 CREATE TABLE user (fname string,lname string) partitioned By (day int); 아래 실행하여 테이블을 생성하고 난 테이블에 데이터를 삽입 한 후에 데이터를 삽입한다. 나는 다음과 같은 선택 쿼리 실행 : 내가 추가 쿼리 아래의

1열

1답변

하이브의 모든 파티션 열의 이름을 바꾸는 방법

파티션 된 1 년의 기간에 대해 기존 테이블의 모든 파티션 열의 이름을 바꿀 때 - 이것이 내가 얻는 것입니다. FAILED: ValidationFailureSemanticException Partition spec {partition_date=null} contains non-partition columns. hive> ALTER TABLE test.us

0열

1답변

스파크 파티션 - DISTRIBUTE BY 옵션 사용

우리는 50MM 행을 처리해야하는 Spark 환경이 있습니다. 이 행에는 키 열이 들어 있습니다. 고유 한 키 수는 2000에 가깝습니다. 2000 개의 키를 모두 병렬로 처리하고 싶습니다. 따라서 우리는 다음과 같은 hiveContext.sql("select * from BigTbl DISTRIBUTE by KEY") 같은 스파크 SQL을 사용하고 그

0열

1답변

하이브에서 테이블을 변경할 때 백엔드에서 어떤 일이 일어나는가

파티션을 변경하는 것처럼 하이브에서 테이블을 변경할 때. 테이블에 어떤 일이 일어나는가. 테이블을 다시 포맷하거나 새로운 파티션을위한 새로운 데이터를 생성합니까?

1열

1답변

Hadoop-Installation-Multinode

안녕하세요, 모두 멀티 노드 hadoop 설치를 설치하려고합니다. 모든 것이 잘 작동하지만 원사에 대한 내 노드 관리자가 작동하지 않습니다. 내가 원사 nodemanager에 대한 로그 파일에서 보았을 때, 나는 그것의 실제 메모리와 가상 코어를 표시되지 않는 이유를 전혀 모르는 정보 "org.apache.hadoop.yarn.server.nodemanag

0열

1답변

HDFS에서 zip 테이블 만들기

나는 이런 식으로 zip이 아닌 테이블을 만들려고했습니다. CREATE TABLE example_table (| a BIGINT, b BIGINT, v STRING, d TINYINT ) STORED AS TEXTFILE LOCATION /path/to/directory/ 지퍼 테이블이 아닙니다. 또한이 테이블의 기록을 가져 오기 위해 zip으로 새 테

0열

1답변

Oozie Mapreduce 작업에서 사용자 정의 파티션이 작동하지 않습니다.

mapreduce에서 보조 정렬을 구현하고 Oozie (Hue에서)를 사용하여 실행하려고했습니다. 속성에 분할 자 클래스를 설정했지만 분할자가 실행되지 않습니다. 따라서 예상대로 출력되지 않습니다. hadoop 명령을 사용하여 실행할 때 동일한 코드가 잘 실행됩니다. 그리고 여기가 <workflow-app name="MyTriplets" xmlns="uri