hortonworks-data-platform

0열

1답변

코디네이터를 죽인 후 어떻게 oozie 워크 플로우를 실행할 수 있습니까?

나는 잠시 동안 oozie와 함께 작업 해 왔지만 코디네이터를 죽이고 싶었지만 코디네이터가 시작한 워크 플로우를 죽이고 싶지 않습니다. 왜 그렇게하고 싶습니까? 나는 내 작업이 매 15 분마다 한 번씩 실행되어야하지만 첫 번째 작업은 현재 실행중인 인스턴스에로드되는 기록 데이터와 쌓여있는 나머지 작업으로 인해 3 시간 이상 걸리는 시나리오가 있습니다. 아래

0열

1답변

Spark2가 한 노드에서만 실행되는 이유는 무엇입니까?

Zeppelin에서 Spark2를 실행하고 있습니다 (HDP 2.6에서는 0.7). 많은 시간 후에 충돌하는 idf 변환을 수행하고 있습니다. 마스터 및 3 개의 데이터 노드 (s1, s2 및 s3)가있는 클러스터에서 실행됩니다. 모든 노드에는 Spark2 클라이언트가 있으며 각 노드에는 8 개의 코어와 16GB RAM이 있습니다. 나는 단지 5 개의 실행

0열

1답변

하이브에 큰 RDD 쓰기 - 언로드 메모리를 저장 메모리에 전송하지 못했습니다.

PySpark에서 일부 조인을 수행하고 결과를 하이브에 저장하려고합니다. 작은 데이터 세트와 코드 조각은 작동하지만 데이터의 크기가 증가 내가 오류가 아래에 도착하면 다음 소프트웨어 버전은 HDFS 2.7.3 는 원사 2.7.3 하이브 1000년 2월 1일 있습니다 MapReduce2 2.7.3 Spark2 2.1.1 파이썬 3.5.2 호튼 웍스 2.6.2

1열

1답변

Ambari 에이전트가 존재하지 않습니다.

내 클러스터의 각 노드에 Ambari 에이전트를 설정하려고하는데,이 노드에 대한 문제를 해결하기 위해 Ambari 마법사를 다시 트레이닝하려고 시도 할 때까지는 거의 모든 노드에서 정상적으로 작동합니다. 에이전트가 설치 여부를 "냠 repolist ambari 에이전트"로되어있는 경우 그래서 난 확인, ========================== Ru

-1열

1답변

Apache ambari 설치

ambari 서버 + 에이전트를 설치하려고합니다. 나는 ambari에 관해 의심 스럽습니다. 나는 ambari를 설치하려고했습니다. 항상 hortonwork와 연결을 얻는다 나의 의심의 여지는 내가 Ubunu 16.0에 내 자신의 hadoop 클러스터가 있다는 것입니다. Ambari는 HDP에서만 작동합니까? 아니면 사용자 정의 된 클러스터에서도 작동 할

0열

1답변

pyspark : python 스크립트를 실행하고 명령 줄에서 결과를 확인하십시오.

나는 pyspark 1.6.2에서 python 스크립트 파일을 실행합니다 (예전의 인증 교육용 이유). spark-submit --master yarn-cluster s01.py 실행하면 "application_somelongnumber에 대한 응용 프로그램 보고서"가 반환됩니다. 내가 기대했던 것은 스크립트 명령의 결과를 보여주는 것입니다. 그래서 제

-1열

1답변

내 호스트 환경이 내 VM과 어떻게 상호 작용합니까? Hadoop/HortonWorks

하둡을 배우고 있습니다. 방금 VM에 HortonWorks 샌드 박스를 설치했습니다. VM을 시작하면 호스트의 웹 브라우저를 사용하여 VM과 상호 작용할 수 있습니다. 저는 이것을 정말로 이해하지 못합니다. 나는 호스트와 VM이 완전히 분리되어 있다고 생각 했는가? VM을 실행하면 내 호스트 컴퓨터에서 웹 인터페이스를 사용하여 VM과 상호 작용할 수 있습니

0열

1답변

왜 원사 메모리 오류가 발생합니까?

HDP 2.6.3에서 2.2 스파크 및 제플린 0.7.3은이 오류 얻을 : 최대 (8기가바이트)에서 java.lang.IllegalArgumentException: Required executor memory (12288+384 MB) is above the max threshold (8192 MB) of this cluster! Please check

0열

1답변

하이브 테이블 Kylin 동기화 문제

큐브를 만들기 위해 하이브 테이블 목록에서 kylin으로 테이블을 동기화하려고합니다. 그러나이 과정에서 메타 데이터가 동기화되어 실제 데이터가 아닌 Kylin에 표시됩니다. 내가 관련 로그를 볼 때, 여기에 내가 무엇을 찾을 수 있습니다 : NoSuchObjectException (메시지 : DEFAULT.KYLIN_INTERMEDIATE_XYZ_TABLE

0열

2답변

VERTEX_FAILURE로 인해 Tez DAG가 실패했습니다.

Ambari 2.5.3 및 HDP 2.6.3의 기본 설정이 있으며 아래의 간단한 쿼리를 실행하려고했습니다. 나는 그것이 왜 실패했는지 이해하지 못한다. 도울 수 있니? [[email protected] demo]# beeline Beeline version 1.2.1000.2.6.3.0-235 by Apache Hive beeline> !connect