2016-08-22 2 views
8

여러 대형 데이터 도구를 평가 중입니다. 그들 중 하나는 물론 임팔라입니다.
클러스터 노드에서 프로세스를 수동으로 시작하여 임팔라 클러스터를 시작하고 싶습니다. Spark, H2O, Presto 및 Dask에 대해 현재하고있는 것처럼 바이너리를 가져오고, 노드에 복사하고, configs를 편집하고, 쉘에서 노드의 서비스를 시작하고 싶습니다. 이것은 잘 작동하며, 업그레이드가 간단하고 필요할 때 더 큰/다른 클러스터로 쉽게 이동할 수 있습니다. 불행히도 쉘에서 필요한 서비스 (Catalog Server, StateStore 및 데몬)를 시작하기위한 적절한 방법으로 자원을 찾을 수 없습니다.
필자는 분명한 작업이지만 적절한 예제를 찾을 수 없다고 생각하므로 임팔라 바이너리를 호출하는 쉘에서 임팔라 클러스터를 시작할 수 있습니까?휴대용 바이너리에서 임팔라 클러스터 실행

+1

* 공식 아파치 사이트의 섹션? http://www.cloudera.com/documentation/enterprise/latest/topics/impala_processes.html#starting_via_cmdline –

+0

면책 조항 : 독립 실행 형 설치 또는 수동 시작을 시도해 본적이 없습니다. Cloudera Manager는 모든 일을 잘 관리하고 있습니다. (그리고 충돌 할 때마다 데몬을 자동으로 다시 시작합니다. 그 자체로 우스운 경험인데, 나는 약 20 년 만에 유닉스의 'SEGV'라는 잘못을 보지 못했습니다. !) * –

+0

@SamsonScharfrichter 이것은 내 질문과 관련이없는 것 같습니다. 명확하지 않은 경우 Spark, H2O, Presto 또는 Dask를 실행하는 방법의 예를 추가 할 수 있습니다. 다운로드되고 압축이 풀린 바이너리에 대한 셸 명령. 설치 또는 OS 레벨 서비스가 없습니다.나는 Cloudera Manager *의 일에 동의합니다. 그러나 다양한 환경에서 다양한 버전을 실행해야합니다. 임팔라/CDH를 재설치하고, 업그레이드하고, 다운 그레이드하는 것은 갈 방법이 아닌 것 같습니다. – jangorecki

답변

2

.... 클러스터 노드에서 수동으로 프로세스를 시작하여 임팔라 클러스터를 시작하고 싶습니다. ..... 임팔라 바이너리를 호출하는 임팔라 클러스터를 어떻게 시작할 수 있습니까? http://www.cloudera.com/documentation/enterprise/5-5-x/topics/impala_processes.html#starting_via_cmdline

업데이트 1 :

나는 이것이 당신이 찾고있는 무엇을 추측

당신은이 링크 만 필요한 정보를 선택 할 수 있습니다

: http://doc.mapr.com/plugins/servlet/mobile#content/view/28869628

그것은 단계가를 github에서 impala를 빌드하고, mapr에서 실행되도록합니다.

업데이트 2 :

은, 임팔라를 구축 확인하려면 다음 링크 : https://github.com/cloudera/Impala/wiki/Build-prerequisites https://github.com/cloudera/Impala/wiki/How-to-build-Impala https://cwiki.apache.org/confluence/display/IMPALA/Building+Impala

업데이트 3 : 이동성에 대한 전문가의 제안에 대한

와 함께 연락 주시기 바랍니다 :

임팔라 개발자 : [email protected] ator.apache.org

http://impala.apache.org/community.html

당분간에서 촬영, 당신은 쉽게 사용할 리눅스 운영 환경의 바이너리를 구축하기 위해 고려할 수 있습니다. 상황에

좀 더 유용한 링크 : 무엇 * "시작 임팔라"에 대한

https://cwiki.apache.org/confluence/display/IMPALA/Tips+for+Faster+Impala+Builds https://cwiki.apache.org/confluence/display/IMPALA/Building+native-toolchain+from+scratch+and+using+with+Impala

+0

Marco 감사합니다. 이제 통찰력있는 답변이지만 실용적이지는 않습니다. 근원지에서 임팔라 건물이 그 성능에 영향을 줄 가능성이 있습니까? 요점은 impala를 "쉽게"재현 할 수있는 벤치 마크 [db-benchmark] (https://github.com/h2oai/db-benchmark)에 추가하는 것입니다. 따라서 CDH를 설치하거나 소스에서 빌드하면 이식성이 해결되지 않습니다. 찾고. – jangorecki

+1

@jangorecki : 필자는 개인적으로 소스에서 빌드를 시도하지 않았지만 (클러스터 구성, 리소스 및로드와 크게 관련되어 있으므로) 성능에 영향을 미치지 않을 것이라고 생각합니다. 컴퓨터 이진 컴파일러가 각각의 바이너리를 생성해야하는 C++ 구성 요소가 있기 때문에 달성하려는 범용 휴대 성은 비현실적입니다. – Marco99

+1

@ jangorecki : 언제든지 보편적 인 이식성 달성에 대한 다른 의견이 있습니까? 공유했다면 공유하십시오. – Marco99