hiveql

1열

1답변

날짜를 변환하는 방법 2017-sep-12 2017-09-12까지 하이브

하이브의 날짜를 변환 할 때 한 가지 문제가 있습니다. 2017-sep-12에서 2017-09-12로 변환해야합니다. 어떻게하면 HIVE에서 이것을 얻을 수 있습니까?

0열

1답변

하이브 파티셔닝 성능에 대해 질문하고 싶습니다. 파티션 성능을보기 위해 필요한 레코드 수 (행 수)는 얼마입니까? 현재 2 백만 건 이상의 레코드가 있고이 테이블을 2 개의 파티션으로 분할했습니다. 내가 분할 된 테이블과 분할되지 않은 테이블 사이의 몇 가지 성능 테스트를 수행하려고 ADD PARTITION (year_month=’2017_07’) ADD

0열

1답변

Ozzie Hive Action은 매개 변수 할당으로 인해 계속 실패합니까?

Oozie를 사용하여 간단한 하이브 스크립트를 실행 해보고 테스트를 시도하고 있지만 이해할 수없는 오류가 계속 발생합니다. 작업을 제출할 때마다 "작업 실패, 오류 메시지 [매개 변수 식에 과제가 있어야합니다 : jobRequest]"라는 오류 메시지가 나타납니다. 그러나, 나는이 매개 변수를 정의하고 원래 구성을 제출할 때 값을 할당합니다. 문제의 매개

0열

1답변

데이터를 하이브로 압축 데이터, 데이터 및 성능별로 클러스터

하이브 성능에 대해 몇 가지 질문이 있습니다. 온라인으로 압축 된 데이터 (특히 ORC, Snappy)를 읽으면 데이터를 읽는 동안 성능이 향상 될 것입니다. 또한 주문 데이터를 사용하여 테이블에 데이터를로드하면 큰 파일이 1 개가되어 읽기 가용성이 떨어질 수 있습니다. 따라서 다른 순서로 동일한 효과를 얻으려면 클러스터를 사용하여 여러 개의 작은 파일을

1열

1답변

Hive 외부 테이블 삽입 및 업데이트에 대한 의문점

하이브에서 보았던 것은 0.14 insertions and updates입니다. 내 첫 질문 : 외부 테이블에 대한 삽입 및 업데이트가 작동합니까? 만약 그렇다면 어떻게 작동합니까? 관련 HDFS 파일은 새 줄을 추가하고 관련된 줄을 각각 업데이트하여 수정해야한다고 생각합니다. 감사합니다.

1열

1답변

하이브 데이터 레코드의 순서는 테이블 조인에 중요합니까?

두 테이블을 조인 할 때 데이터 레코드의 순서가 중요합니까 (성능 현명한 경우) 알고 싶습니다. P. 맵 사이드 조인이나 버킷 조인을 사용하고 있지 않습니다. 감사합니다.

0열

1답변

하둡지도 측면 조인 조건부 태스크

하이브 맵 조인을 배우고 조건부 태스크를 발견했습니다. 조건부 태스크에 대해 다음과 같은 질문이 있습니다. hadoop 맵 조인에서 조건부 태스크 란 무엇입니까? 지도에서 작은 테이블을 식별하는 조건부 작업이 어떻게 도움이됩니까? 다음 하이브 속성과 의미 설정 hive.auto.convert.join.noconditionaltask.size의 차이는 무엇

0열

1답변

GenericUDF의 초기화 된 메소드가 여러 번 호출되었습니다

저는 GenericUDF를 확장하는 HiveUDF를 가졌습니다. spark.sql을 통해 udf를 호출하면 정확한 결과를 얻었지만 초기화 된 메소드는 여러 번 호출됩니다. 왜 이런 일이 벌어지고 있는지 이해할 수 없습니까?

-1열

1답변

이미 버팅되어 있고 데이터가있는 테이블에 데이터를 삽입하는 경우. 삽입 기능은 어떻게 작동합니까?

나는 하나의 테이블을 만들고 데이터를 동일한 테이블에 데이터를 다시 삽입하려고 시도했습니다. 어떻게 작동할까요?

1열

1답변

INSERT OVERWRITE의 SELECT 쿼리가 결과를 반환하지 않으면 Hive 테이블을 덮어 쓰지 못하도록하는 방법이 있습니까

HDFS 파일에서 하이브 테이블로 데이터를로드하는 일괄 처리 작업을 개발 중입니다. 는 INSERT 특정 변환을 적용 외부 하이브 테이블 최종 하이브 테이블을 덮어 외부 하이브 테이블을 이용 HDFS에서 수신 된 파일을 읽어 아카이브에 수신 된 파일을 이동 다음 데이터의 흐름은 외부 테이블에 대한 입력 디렉토리에있는 파일이 어떤 파일이없는 경우 1. , 외