hadoop2

1열

2답변

YARN과 MR2 사이에 다소 혼란 스럽습니다. 그들은 같은가요? 일부 문서에서는 분산 응용 프로그램을 실행하고 MapReduce에서는 분산 응용 프로그램을 실행하기위한 플랫폼으로 YARN을 보았습니다. 그 의미는 무엇입니까? 프로그래머가 만든 MapReduce 응용 프로그램입니까 (예 : wordcount 프로그램)? 다시 '내가 직접 작성한 YARN 응

1열

1답변

아파치 hadoop2에서 HA 모드로 HBase를 구성하기 위해 필요한 단계는 무엇입니까?

hadoop 2.6.0과 hbase 0.98.7을 사용하고 있는데, hdfs/namenode에 HA를 설정했습니다. 활성 nn1 및 대기 nn2가 표시됩니다. 이제 문제는 내가 고가 용성을 hbase에 사용할 수 없으며, 또한 hbase와 hbase를 통합하는 방법을 이해하지 못합니다. 또한 jps HMaster를 실행하는 동안 hbase의 UI를 볼 수

1열

3답변

start-dfs.sh - 작동하지 않음 - localhost : 포트가 잘못되었습니다. 'localhost'(Hadoop 2.7.2)

명령을 실행하면 hadoop 버전이 작동합니다. 나쁜 포트 'localhost를' 로컬 호스트 : 나쁜 포트 'localhost를' 시작 - 하둡 네임 노드의 -format 명령도 잘 명령 start-dfs.sh을 노력하고 내가 [로컬 호스트] 로컬 호스트에 시작 namenodes을 얻고있다 작동하지 않음 보조 namenodes [0.0.0.0] 아래 구성

1열

1답변

hadoop2의 outputCommitterClass 속성을 설정하십시오.

저는 지난 몇 주 동안이 문제를 조사해 왔으며 확실한 답을 찾지 못했습니다. 여기 내 문제 : hadoop1x를 들어 (mapred LIB)에, 우리는 사용하여 사용자 정의 출력 커미터을 사용할 수 spark.conf.set( "spark.hadoop.mapred.output.committer.class", "some committer"

4열

1답변

Hadoop 노드 관리자가 최소 할당을 만족하지 않음

Hadoop 노드 관리자가 최소 할당을 만족하지 않습니다. 노드가있는 노드 관리자가 때 "ResourceManager: NodeManager from *** doesn't satisfy minimum allocations" 오류가 볼 수 내 물리적 상자 에 org.apache.hadoop.yarn.exceptions.YarnRuntimeException:

0열

1답변

Hadoop 이름 노드가 이상한 [aca8ca1d.ipt.aol.com] 호스트 이름에 연결하는 이유는 무엇입니까?

나는 맥 시스템을 사용하고 하둡 시스템을 시작하는 명령을 사용하고 있습니다 : start-dfs.sh 을하고 "호스트 이름"명령에 의해 반환 나의 호스트는 "ctpllt072.local"입니다. 다음과 같이 이름 노드를 시작 연결할 때 하지만 난 이상한 호스트 이름과 메시지를 받고 있습니다 : Starting namenodes on [aca8ca1d.i

4열

1답변

Hadoop 2.7.4 자원 문제로 원사 구성

다음은이 tutorial을 따라 hadoop 2.7.4를 구성했습니다. DataNode, NameNode 및 SecondaryNameNode가 올바르게 작동합니다. 하지만 실을 실행할 때, NodeManager는 다음과 같은 메시지가 다운 될 org.apache.hadoop.yarn.exceptions.YarnRuntimeException : org.apa

0열

1답변

Hadoop의 다양한 유형의 데이터 세트에 대한 MapReduce의 레코드 정의?

텍스트 이외의 데이터 형식 인 MapReduce Hadoop에서 Record의 정의를 이해하고 싶습니다. 일반적으로 Text 데이터의 경우 레코드는 줄 바꿈으로 전체 라인 종료됩니다. XML 데이터를 처리하려면이 데이터가 어떻게 처리되어야합니까? 즉, 정의에서 mapper이 작동하는 방식은 무엇입니까? 나는 InputFormat과 RecordReader이라

0열

1답변

hdfs dfs -count는 어디에서 정보를 얻습니까?

많은 양의 데이터가있는 멀티 테넌트 멀티 노드 클러스터의 많은 디렉토리에있는 파일 수를 계산해야합니다. 그래서 "hdfs dfs-count/path/to/directory"명령이 어디에서 왔는지 궁금합니다. 정보를 얻으시겠습니까? 그것이 hdfs dfs -ls처럼 작동합니까? 아니면 HDFS의 네임 노드에서 정보를 직접 가져 옵니까? 고맙습니다.

0열

1답변

스파크 원격 클러스터 실행이 실패 함 - HDFS 연결이 8020에서 거부되었습니다.

YARN에서 실행되는 Spark Cluster 외부의 시스템에서 spark-submit 원격 작업을 제출하는 데 문제가 있습니다. 내 코어를 site.xml에서 Exception in thread "main" java.net.ConnectionException: Call from remote.dev.local/192.168.10.65 to target.de