cloudera-cdh

0열

1답변

예제 map-reduce oozie 프로그램이 CDH에서 작동하지 않음 4.5

필자는 지금까지 Mac에서 Hadoop (CDH 4.5)을 사용하고 있으며 맵 축소 작업을 정기적으로 실행합니다. 나는 최근에 (다시, CDH4.5)를 다음의 지시에 따라 설치했다 : http://archive.cloudera.com/cdh4/cdh/4/oozie-3.3.2-cdh4.5.0/DG_QuickStart.html 그리고 제공된 샘플 프로그램을 실

1열

2답변

Cloudera CDH5에 대한 클러스터 생성

다음 구성의 서버 시스템이 있습니다. 1) 듀얼 쿼드 코어 제온 2) 24기가바이트 메모리 3) 5백기가바이트 사타 4) 256 * 2 RAID 1 기계는 단지 도착하고 우리는 거기에 CDH5를 설치하려고합니다. 우리는 샌드 박스/dev 클러스터를 생성하기를 원합니다. 나는 우리가이 과정에 상당히 새로운 A) How many nodes we can crea

0열

1답변

네임 노드 던짐 EPERM : 시작할 때 작업이 허용되지 않음

yarn.nodemanager.local-dirs 폴더에 대한 파일 권한은 어떻게되어야합니까? 나는 이것들에 대한 파일 허가를 엉망으로 만들었고 그것을 해결할 수 없었다. 현재 755 yarn : hadoop이되도록 폴더 사용 권한을 설정했습니다. nodemanager를 실행하려고 할 때마다 EPERM : Operation not permitted 오류가

0열

1답변

MapReduce 작업을 동시에 파일을 다운로드 하시겠습니까?

이것이 MapReduce의 적합한 유스 케이스인지 확실하지 않습니다. 구현하려는 OOZIE 워크 플로의 부분은 일련 번호 (예 : 1에서 20)로 명명 된 일련의 파일을 다운로드하는 것입니다. 나는 그 파일 (한 번에 5 개의 파일)을 동시에 다운로드 할 수 싶어, 그래서 다음과 같이 5 개 텍스트 파일을 생성하는 파이썬 스크립트를 생성 : 1.txt: 1

1열

1답변

돼지가 자신의 중간 데이터를 읽을 수 없습니다

먼저, 클러스터에 따라 Apache Pig 버전 0.11.0-cdh4.3.0 (rexported)을 실행하고 있습니다. 그러나 0.11.0-cdh4.5.0을 사용합니다. 똑똑한 결정이 아니라는 것을 알고 있습니다.하지만 두 가지 문제가 있기 때문에 여기에서 겪고있는 문제와 관련이 있다고 생각하지 않습니다. 돼지 v0.11.0 나는 스크립트가 있습니다. 이는

1열

1답변

kerberos와 함께 하이브 메타 스토어 서버를 사용하여 하이브 작업 수행

CDH5를 사용하고 있습니다. 나는 Kerberos를 사용하기 위해 Hive Metastore를 설치했다. 즉 hive-site.xml은 다음과 같은 속성을가집니다. <property> <name>hive.metastore.sasl.enabled</name> <value>true</value> </property> <property>

1열

1답변

cloudera tarball을 통해 스파크를 설치하는 방법은 무엇입니까?

나는 cdh spark tarball.spark 타르볼을 통해 스파크를 설치하는 방법을 궁금해했다. here CDH 문서에서 설명을 찾을 수 없습니다. 실을 독립형으로 발화 시키려합니다.

0열

1답변

지도에있는 avro 파일 레코드 읽기 스키마에 관계없이 맵 축소

전체 hdfs 파일에서 avro 파일을 읽는 map reduce 프로그램을 작성해야합니다. mapper 코드 입력은 스키마가 다른 avro 파일이됩니다. 내 코드의 매퍼 부분에서 필자는 파일 스키마와 관계없이 파일의 전체 레코드를 읽어야합니다. 우리가 avro에서 전체 기록을 읽는 방법을 알 수 있습니다. 미리 감사드립니다.

3열

1답변

Hadoop 클러스터에서 native-hadoop 라이브러리를로드하는 방법은 무엇입니까?

MapReduce 서비스를 사용하여 결정 트리로 을 생성하기 위해 Cloudera Hadoop (CDH) 버전 4.6에서 Revolution R Enterprise 버전 7.0을 실행 중입니다. Hadoop 클러스터 계산 컨텍스트를 실행할 때 native-hadoop 라이브러리가로드되지 않는 것 같습니다. RevoScaleR 패키지를로드했습니다. 이미 Re

0열

1답변

하이브 또는 임팔라에로드 된 표가 없습니다

Centos 6.5에서 CDH5를 사용하여 쿼리 편집기> 하이브 또는 임팔라로 이동하면 왼쪽의 표 섹션이 대기중인 회 전자와 함께 표시됩니다. 내가 하이브리드 cli에서 쿼리 할 수있는 테이블이 있으며, 테이블을로드하지 않습니다. 누군가 올바른 방향으로 나를 가리킬 수 있습니까? 나는 요리 책 솔루션은 없다고 생각