hadoop2

0열

1답변

Hadoop을 구성하는 동안 hdfs-site.xml 파일의 올바른 구성은 무엇입니까? 나는이 참조하는 모든 웹 사이트에 는 : <property> <name>dfs.replication</name> <value>1</value> </property> <property> <name>dfs.namenode.name.dir</name> <value>

0열

1답변

왜 매핑 전에 ShuffleConsumerPlugin이 시작되지 않습니까?

ShuffleConsumerPlugin의 맞춤 구현을 만들었지 만 작동합니다. 그러나 매핑 작업이 완료되면 인스턴스화됩니다. org.apache.hadoop.mapred.LocalJobRunner: Waiting for map tasks org.apache.hadoop.mapred.LocalJobRunner: Starting task: attempt_lo

5열

1답변

AWS EMR에 YARN 로그 집계 - UnsupportedFileSystemException

아마존 EMR 클러스터에 YNN 로그 집계를 사용하려고 고민 중입니다. 나는 구성이 문서를 다음 오전 : "는 AWS CLI를 사용하여 아마존 S3에 로그를 집계하기"라는 제목의 섹션에서 http://docs.aws.amazon.com/ElasticMapReduce/latest/DeveloperGuide/emr-plan-debugging.html#emr-p

2열

1답변

Java 클라이언트를 사용하여 Apache YARN에서 MapReduce 애플리케이션 실행하기

Java 클라이언트 코드를 사용하여 YARN 클러스터에서 MapReduce 애플리케이션을 실행하려고합니다. 예를 들어, hadoop-examples.jar 파일에있는 WordCount를 Java API를 사용하여 16 개 머신의 YARN 클러스터에 제출하려고합니다. 나는 this tutorial을 따르려고했지만 응용 프로그램 마스터 항아리를 얻지 못했습니다

3열

1답변

단일 노드 클러스터 (hadoop)의 최대 컨테이너는 얼마입니까?

나는 hadoop에 익숙하다. 아직 익숙하지 않다. 노드 당 최대 컨테이너를 묻기 만하면됩니다. **mapred-site.xml** map-mb : 4096 opts:-Xmx3072m reduce-mb : 8192 opts:-Xmx6144m **yarn-site.xml** resource memory-mb : 40GB min allocation-

0열

1답변

스칼라 프로그램 종료 중?

나는 mapreduce 코드의 일부로 try catch를 사용했습니다. 아래 코드에서 COUNT를 기준으로 값을 줄입니다. 내가 어떻게 class RepReducer extends Reducer[NullWritable, Text, Text, IntWritable] { override def reduce(key: NullWritable, values

0열

1답변

Hadoop 2.x로 Hadoop 스트리밍 작업을 제출하고 실행 기록을 확인하는 방법

Hadoop에 초보자입니다. Hadoop 1.X에서는 마스터 노드에서 하프 스트리밍 작업을 제출하고 namenode 웹에서 결과와 실행 시간을 확인할 수 있습니다. $HADOOP_HOME/bin/hadoop jar $HADOOP_HOME/hadoop-streaming.jar \ -input myInputDirs \ -output myOutputDir \

0열

1답변

Maven 구성을 사용하여 Eclipse에서 Hadoop 작업을위한 Java 힙 공간을 설정하십시오.

종속성이 Maven에 의해 처리되는 Eclipse에 Hadoop 프로젝트가 있습니다. 현재 Eclipse 내에서 Hadoop 작업을 실행할 수 있으며 Maven에 모든 종속성이 있으므로 Hadoop이 설치되어 있지 않습니다. 문제는 내가 힙 공간 예외를 얻고 있다는 것입니다 : java.lang.Exception: java.lang.OutOfMemoryEr

3열

1답변

Mac에서 Hadoop을 완전히 제거하는 방법

터미널을 통해 나의 맥북 프로에 hadoop 2.5.1을 설치했지만 지금은 내 Mac book pr에서 완전히 제거하고 싶습니다. 그래서 알려 주시기 바랍니다. 미리 감사드립니다.

0열

1답변

'where 1 = 1`을 사용할 때 사용자 정의 하이브 InputFormat을 찾을 수 없습니다

하이브를 사용하고 있는데 사용자 정의 InputFormat을 사용하여 쿼리를 수행 할 때 예외가 발생합니다. select * from micmiu_blog; 하이브는 문제없이 작동하지만 select * from micmiu_blog where 1=1;을 사용하면 프레임 워크가 내 사용자 정의 InputFormat 클래스를 찾을 수없는 것으로 보입니다. "h