impala

2열

2답변

apache spark를 사용하여 임팔라에서 생성 된 apache kudu 테이블에 액세스하는 방법

apache kudu의 빠른 시작 VM을 다운로드했으며이 페이지에 나타난 것처럼 예제를 따라했습니다. https://kudu.apache.org/docs/quickstart.html 사실 "sfmta"라는 테이블을 만들었지 만 내가 "기본과 같은 다른 테이블의 이름을 지정도 시도 org.apache.kudu.client.NonRecoverableExcept

0열

1답변

Presto, hive 및 impala는 Avro 데이터 형식을 지원합니까?

데이터 형식에 대한 Avro 스키마를 지원하기 위해 Hive에서 사용할 수있는 Serde에 대해 분명합니다. 하이브와 함께 avro를 사용하면 편안합니다. AvroSerDe 말에, 나는 프레스토에 대해이 문제를 발견했다. https://github.com/prestodb/presto/issues/5009 빠른 실행주기를 위해 구성 요소를 선택해야합니다. P

0열

1답변

impala 오랫동안 쿼리 등록 해제

저희 회사는 현재 자신의 데이터 배경으로 CDH 5.10과 임팔라 2.7 버전을 사용하고 있으며 최근에는 두통을 겪었습니다. 일부 쿼리 쿼리 등록 취소은 쿼리 시간의 60 % 이상을 차지했지만 impala-shell 구현 시간에 동일한 SQL 복사본을 훨씬 적게 넣었습니다. 쿼리 시간 등록이 적습니다. 의심의 여지가 있습니까? 그것을 향상시킬 수있는 방법이

0열

2답변

임팔라 : dd-MMM-yy 문자열을 yyyy-mm-dd로 변환합니다.

날짜가 dd-MMM-yy 형식 인 csv를 받았습니다. 29 월 - 17 내가로 변환 할 YYYY-MM-DD, 예를 들어, 2017년 8월 29일 내가 사용하지 않는, 그냥 내가 올바른 기능을 봤 한되지 않을 수 있지만, 내가 쓰는 개월의 MMM 방법에 대처하기 위해 아무것도 찾을 수 없습니다 lookup/case 문을 실행하고 문자열을 분할하여 다시 넣습

0열

1답변

임팔라 자원 관리

허용 제어는 각 임팔라 데몬에 내장되어 있으며 statestore 서비스를 통해 통신합니다. impalad 데몬은 쿼리가 즉시 실행되는지 또는 쿼리가 대기 중인지 여부를 결정합니다. 그러나 갑작스러운 요청 흐름으로 인해 예상보다 많은 쿼리가 동시에 실행되는 경우 클러스터 수준의 전체 임팔 (Impala) 메모리 제한과 Linux cgroup 메커니즘이 메모

0열

1답변

CDH 5.3.2 - 쉘/스크립트에서 임팔라 데몬을 다시 시작해야합니다.

CDH 5.3.2 클러스터를 사용 중이며 스크립트에서 임팔라 데몬을 시작/중지 할 수 있어야합니다. 클라우 데라 문서 sudo service impala-server start 에 언급 된 명령은 내가 오류 "알 수없는 서비스 임팔라 서버"를 얻을 내 CDH 5.10 지방 VM에 있지만, CDH 5.3.2 클러스터에서 잘 작동합니다. /etc/init.

0열

2답변

임팔라에 열 이름 만 표시하도록 쿼리

하이브에서 우리는 테이블의 열 이름 만 가져 오기 위해 "TABLE_NAME에 열 표시"를 할 수 있습니다.하지만 IMPALA에서 테이블의 열 이름 만 표시하는 쿼리를 원합니다. 어떻게 할 수 있습니까? IMPALA에있는 테이블의 열 이름 만 얻었습니까?

-2열

1답변

json 파일을 excel/sql 쿼리로 변환하는 방법

원본 시스템 공급 업체 팀에서 json 파일의 보충/델타로드를 생성하고 Dev 팀에 테이블로드를 요청하는 ETL 프로세스가 있습니다. 그리고 소스 시스템은 테스트 팀에게 데이터 변경/업데이트가있는 스프레드 시트를 제공하기로 동의했습니다. Json 파일을 일부 코드/매크로를 사용하여 Excel로 변환 할 수있는 방법이 있습니까? 로드 된 테이블의 변경 사항을

0열

1답변

임팔라 - 쉘 명령 인수 목록이 너무 깁니다

임팔라 - 쉘에서 실행될 1,700 줄의 쿼리가 있습니다. 나는 아래의 명령으로 쉘 스크립트를 생성 : 나는 sh script.sh를 사용하여 실행될 때 impala-shell -V -i hostname -q "[QUERY]" 그러나, 나는 오류 메시지 "Argument list too long"을 얻었다. 임팔라 - 쉘 명령을 사용하여 더 간단한/짧은 쿼

2열

1답변

다중 임차를 위해 하이브 임팔라/스파크를 어떻게 구성 할 수 있습니까?

다음을 생각하면 답을 찾으려고했지만 찾으려고하지 않았습니다. 스파크, 임팔라, MR, 하이브 멀티 테넌시를 다룹니다. 임팔라에 주어진 시나리오. 임팔라/스파크 모두 메모리 호깅이기 때문에 스파크에도 적용 할 수 있다고 생각합니다. 시나리오 1 임팔라에 정적으로 할당 된 40 % 리소스의 MR, 하이브 및 임팔라 모두에 대해 멀티 임차가 포함 된 10 노드