우리는 하이브 1.1.0을 사용하고 있으며, 사용자 가독성을 위해 100 개의 열이있는 거대한 테이블 중 하나의 열을 재정렬해야한다는 요구 사항이 있습니다. 그러나 테이블의 열을 재정렬 할 때 아래 오류로 인해 실패합니다. 열을 재정렬하는 대신 테이블에서보기를 만듭니다. hive> desc test_parquet;
OK
name string
a
Hive 테이블을 동시에 파티셔닝하고 버킷 팅하는 이점은 무엇입니까? 1M 레코드가 들어있는 "주문"테이블이 있지만 레코드는 6 개 도시에서 제공됩니다. 지금 내 테이블을 양동이로 묶는 경우 도시를 기반으로하는 주문, 내 창고 디렉토리 (하이브에 있음)에 6 개의 다른 폴더가 있습니다. 각각의 특정 도시와 데이터에 해당합니다. 내 테이블을 파티션 한 다음
이 형식의 셸 스크립트를 사용하여 txt 파일에서 하이브에 테이블을 만들려고합니다. 내 t_cols.txt는 다음과 같이 데이터가 : id string, name string, city string, lpd timestamp
내가 그 열이 텍스트 파일에서 오는되어야한다 하이브 테이블을 만들려고합니다. 이 내 쉘 스크립트 같은 모습입니다 : 이것은 어떻게
이 작업을 수행 할 방법을 찾을 수 없습니다. id2''(empty string) 및 적어도 비어 있지 않은 하나 인 id2을 모두 가져와야합니다. id1이 필요합니다. SELECT id1, id2 FROM mytable WHERE id1 = ... GROUP BY id1,id2 id1 id2
1 b2-04af1ab73705-fb800
나는 아래의 특성을 가진 하이브-site.xml 파일 업데이트 한 bucketed하지 않는 테이블에 삭제 : 나는 명령 아래에있는 테이블을 업데이트하려고 set hive.support.concurrency = true;
set hive.enforce.bucketing = true;
set hive.exec.dynamic.partition.mode = n
하이브 쿼리가 있는데 next_datetime과 curr_datetime의 차이가 1 시간을 넘지 않았는지 확인하고 싶습니다. 이 AND 절을 추가하면 두 datetime이 같은 시간인지 확인합니다. <...> and hour(next_datetime) = hour(curr_datetime)
몇 분 안에 시간 차이가 있습니까? next_datetime
다른 레코드로 인해 세미콜론의 수를 제외하고 값이 같은 데이터 집합이 있습니다. 예를 들어 하나의 레코드에 a; b; c가 있고 다른 레코드에 a ;; b; c가 있으면이 코드에서 고유 한 함수를 사용할 수 없게됩니다. 나는 이것을 중복 레코드로 취급하기를 원한다. ;; 바꿀 필요가있다. 어떻게 여러 항목을 대체 할 수 있습니까? 싱글과; 하이브의 데이터
내가, 내 스파크 드라이버 코드에 hiveQL 문 집합을 실행하기 위해 내가이 코드를 실행하면, 말을 나에게 오류를 준 var res = hiveContext.sql("""use testdb;drop table temp;select ...") 아래에 뭔가를하려는 스칼라 코드에서 여러 hiveQL 문을 실행 Error: missing EOF near test
저의 목표는 다양한 수준에서 다양한 조직의 규모를 결정하는 것입니다. Org. Dep. Tm. Member
A 1 I name1
A 1 I name2
A 1 I name3
A 1 II name4
A 2 I name5
A 2 I name6
B 1 I name7
B 1 II name8
B 1 II name9
B
저는 HIVE 및 HADOOP을 처음 사용합니다. 여기서 테이블은 연습용으로 중요한 외래 키 관계가없는 하이브에서 두 개의 샘플 테이블을 조인하려고합니다. - 테이블은 다음과 같습니다 Employees table:-
id name gender salary departmentid
1 mark male 3333 1