hortonworks-data-platform

0열

1답변

설명 : 이 Ambari에, 나는이 서비스 작업을 사용 : "네임 노드를 이동". 마지막 단계에서 이전 NameNode가 삭제되었을 때 실패했습니다. 이제 Ambari에서 두 개의 NamdeNode를 볼 수 있습니다. 그러나 NamdeNode HA를 활성화하지 않았습니다. 하나의 NameNode가 시작되고 다른 NameNode가 중지되면 오류가 중요하지 않

1열

1답변

OOzie의 PySpark Job을위한 기본 클래스

나는 pySpark Job을 만들었고 spark-submission을 통해 제출할 때 완벽하게 작동합니다. 지금 내가 시도했을 때 Oozie는 실패했다. 필자는 필자가 입력 한 밭에 문제가 있음을 의심합니다. 이 필드는 Oozie의 Spark Action에 필요합니다. 로그인 표준 출력 Spark Master : local Mode : client Ma

0열

1답변

Nifi에서 API 사용하기

다음은 보안 나머지 API를 사용하는 방법입니다. 는 나는 다음과 같은 예외를 얻고있다 invokeHttp 프로세서를 실행하면 : 헤더가없는 것처럼 2017-09-19 07:58:59,744 ERROR [Timer-Driven Process Thread-3] o.a.nifi.processors.standard.InvokeHTTP java.lang.Null

1열

1답변

Hadoop Hortonworks 서버 다운

어제 MacBook에 Hortonworks Hadoop 시스템을 설치했습니다. 모든 것이 잘되었지만 서버가 작동했지만 다시 켜고 가상 상자를 오늘 켜고 Hadoop을 연결하려고했습니다. 너무 많은 서버가 작동하지 않는 것을 보았습니다 (MapReduce, Hive Yarn ..). 어리석은 질문 일지 모르지만 나는 아주 새로운 것입니다. 왜 그래? 가상 박

0열

1답변

pyspark 모든 실행자에 균일하게 부하 분산

5 노드 클러스터가 있습니다. pyspark를 사용하여 일부 etl 작업을 수행하고 출력을 마루 파일에 쓰는 데이터 프레임에 100k csv 파일을로드하고 있습니다. 데이터 프레임을로드 할 때 각 Executor가 20k 레코드를 처리하는 모든 Executor간에 DataSet을 어떻게 균등하게 나눌 수 있습니까?

0열

1답변

Hortonworks에서 Map/Reduce Job에 둘 이상의 CPU를 할당 할 수 없습니다.

5 노드 클러스터에서 HDP 2.4.2 버전을 실행 중입니다. 클러스터에서 작업을 시작할 때마다 구성된 CPU에서 하나의 CPU 만 사용합니다. 4 개의 CPU를 구성했지만 내 작업은 하나의 CPU 만 사용합니다. 내 클러스터에는 5 개의 24 코어 128GB 우분투 상자가 있습니다. 은 클라우 데라와 함께 잘 작동했기 때문에이 HDP의 제한이 있으면 알려

1열

1답변

Spark2.2 인터프리터는 간단히 제플린 0.7.0 (HDP2.6)에 원사에 2.2 스파크 실행하려면 제플린 인터프리터를 테스트하기 위해 노력하고 있지만, 반복적으로 점점

HDP 2.6에서 실행 : java.lang.ClassNotFoundException: com.sun.jersey.api.client.config.ClientConfig 내가 실행하고 모든 나가들 불꽃 제출하고 (로컬 및 원격) 원사에서 실행되는 작업 쉘 불꽃 실행할 수 있지만 제플린은 스파크의 새 버전을들을 수 없습니다 2.2 같은 스파크와 %spar

0열

1답변

하이브 및 기본 키 제약

다음 HQL이 HDP 2.6.1 & 하이브 1.2.1000에서 오류를 생성하고 있습니다. 그것은 beeline 문제 또는 하이브 버전입니까? CREATE EXTERNAL TABLE IF NOT EXISTS `nwdb.strings` (`string_id` INT, `string_data` STRING, PRIMARY KEY(string_id) DISABLE

-1열

1답변

HDP 2.6.1.0 스택에 대해 응용 프로그램을 빌드하는 방법

sqoop 작업을 실행하고 hdfs 작업을 수행하며 하이브에 메타 데이터를 변경하는 Java 응용 프로그램을 빌드하려고합니다. 이 모든 것을 성취하기 위해 나는 메이븐 프로젝트를 만들었지 만, 나는 항상 의존성 문제를 겪는다. 누군가 내게 예제 pom.xml을 줄 수있어, 내 응용 프로그램을 작성할 수 있습니까? 감사합니다.

1열

2답변

Hortonworks : 사용자 관리 방법

Hadoop 관리 및 Hortonworks Hadoop을 처음 사용했습니다. 내 질문은 Hortonworks에서 사용자를 관리하는 일반적인 관행입니다. Ambari는 사용자를 만들 수있게 해주지 만 기업이 Ambari의 사용자를 사용자에게 어떻게 매핑합니까? 나는 Hortonworks에서 Kerberos를 활성화 할 수 있음을 알았습니다. LDAP 같은 회