hadoop2

0열

1답변

MR ETL 작업을 구현 중이며 매퍼 작업과 감속기 작업 만 있습니다. 항상 컨테이너 내부에서 하나의 매퍼 만 실행됩니다. 컨테이너 내에서 여러 맵퍼를 실행할 수 있습니까? 아니면 하나의 맵/축소 작업 만 컨테이너 내에서 실행할 수 있습니까?

0열

4답변

java 명령을 사용하여 hadoop 작업 실행

MR 작업을 설정하는 간단한 Java 프로그램이 있습니다. 'hadoop jar'를 사용하여 Hadoop 인프라 (hadoop 2x)에서이를 성공적으로 실행할 수있었습니다. 하지만 아래의 java 명령을 사용하여 같은 결과를 얻고 싶습니다. 자바 클래스 이름 어떻게하면이 클래스 이름에 하둡 구성을 전달할 수 있습니다? 어떤 추가 인수를 제공해야합니까? 모든

24열

5답변

로컬 Hadoop 2.6 설치에서 S3/S3n에 어떻게 액세스합니까?

로컬 컴퓨터에서 Amazon EMR 클러스터를 재현하려고합니다. 이를 위해 latest stable version of Hadoop as of now - 2.6.0을 설치했습니다. 이제 EMR 클러스터 내부에서 수행하는 것처럼 S3 버킷에 액세스하고 싶습니다. <property> <name>fs.s3.awsAccessKeyId</name>

3열

3답변

돼지와 하둡 연결 오류

나는 맵리 듀스 모드에서 돼지를 실행하고 때 이 오류를 ConnectionRefused 얻고있다. Details : 나는 tarball (pig-0.14)에서 Pig를 설치하고 bashrc에서 classpath를 내 보냈다. 모든 Hadoop (hadoop-2.5) 데몬이 설치되어 실행 중입니다 (JPS가 확인). [[email protected] sbin

0열

1답변

HDP 2.2 수동 설치 namenode 형식 - 매개 변수 개수가 잘못 되었습니까?

RPM에서 CentOS 6.5 64bit에 Hortonworks Data Platform 2.2를 수동으로 설치하려고합니다. 네임 노드 Insufficent 매개 변수 오류가 "던져"입니다 형식화하는 동안 사람들은 지침 설명서에 따라 있습니다 Format and Start HDFS 1. Execute these commands at the NameNode

1열

1답변

Amazon EMR 클러스터 다시 시작

Amazon EMR (Hadoop2/AMI 버전 : 3.3.1)을 사용하고 있으며 기본 구성 (예 : 복제 요소)을 변경하고 싶습니다. 변경 사항을 적용하려면 클러스터를 다시 시작해야하며 문제가 시작됩니다. 어떻게 만드시겠습니까? ./.versions/2.4.0/sbin/stop-dfs.sh에서 찾은 스크립트가 작동하지 않습니다. 어쨌든 슬레이브 파일 ./

3열

2답변

MapReduce 작업에 로그인하기위한 표준 사례

MapReduce 작업에 로그인하기위한 최선의 방법을 찾으려고합니다. 나는 다른 Java 응용 프로그램에서와 같이 log4j appender와 함께 slf4j를 사용하고 있지만 MapReduce 작업은 제한된 액세스 권한을 가진 공유 클러스터이므로 로그 파일 위치를 어디에 설정해야하는지 모르는 클러스터에서 분산 된 방식으로 실행되기 때문에 특권. MapRe

5열

6답변

HDFS 오류 넣기 :`입력 ': 해당 파일이나 디렉토리가 없습니다.

hadoop 2.6.0을 설치했으며 그걸 가지고 놀고 있습니다. 나는 의사 분산 설치를 시도하고 그리고 내가 명령 bin/hdfs dfs -put etc/hadoop input 나는 아래의 오류를 실행할 때 나는 5 단계 즉에 붙어 http://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-com

1열

1답변

스파크 1.2는 HDP 2.2의 HDFS에 연결할 수 없습니다.

이 투어 012538463을 따라 HDP 2.2에 스파크를 설치합니다. 그러나 dfs가 내 연결을 재개했다고 알려줍니다. 내가 명령하는 것 : 여기 ./bin/spark-submit --class org.apache.spark.examples.SparkPi --master yarn-cluster --num-executors 3 --driver-memory

0열

2답변

하이브, HDFS의 로컬 시스템에 데이터를 다시

I 해요 하둡 관리 : 내가에서 복제 요인을 찾을 수 없습니다 (8 개 노드의 아파치 하둡 2.4.1 클러스터, 16TB DFS 사용이 새로운 xml 파일 중 하나), 하이브 0.13, MySQL 메타 스토어. 목표 : 클러스터의 데이터를 NFS 드라이브에 백업하고 클러스터를 제거하고 다른 배포판 (Cloudera, Hortonworks)을 설치하고 NFS