hadoop2

0열

1답변

HBase에서 mapoutput 파일을 생성하는 결합 자 mapreduce

안녕하세요 저는 HBase에서 레코드를 읽고 텍스트 파일에 기록하는 응용 프로그램을 실행하고 있습니다. 저는 제 응용 프로그램 및 사용자 정의 분할기에서도 결합기를 사용했습니다. 커스텀 파티셔너에서 내 상태를 만족시키는 40 개의 감속기 출력 파일을 만들어야하기 때문에 응용 프로그램에서 41 개의 감속기를 사용했습니다. 잘 작동하지만 모든 응용 프로그램에서

1열

1답변

org.apache.spark.rpc.RpcTimeoutException : [120 초] 후에 선물 시간이 초과되었습니다. 이 제한 시간은 spark.rpc.lookupTimeout에 의해 제어됩니다.

YARN에 스파크 응용 프로그램을 제출하는 동안 컨테이너에 대해 아래 오류가 표시됩니다. HADOOP (2.7.3)/SPARK (2.1) 환경은 단일 노드 클러스터에서 가상 분산 모드를 실행 중입니다. 응용 프로그램은 로컬 모델에서 실행되도록 만들었지 만 YARN을 RM으로 사용하여 클러스터 모드에서 정확성을 검사하고 일부로드 블록을 치려고 할 때 완벽하게

0열

1답변

`copyToLocal`을 사용하는 동안 디렉토리를 제외하는 방법

HDFS에서 파일을 복사하고 싶습니다. 파일을 복사하는 동안 폴더가 제외되기를 원합니다. 나는 hdfs dfs -copyToLocal을 시도했지만 테스트 한대로 디렉토리도 복사합니다. 디렉토리가 아닌 파일을 복사하는 방법이 있습니까?

1열

1답변

hadoop 클러스터의 다양한 포트는 무엇입니까?

다양한 데몬/프로세스가 Hadoop 클러스터에서 수신 대기하는 다양한 포트를 이해하려고합니다. 코어를 site.xml <property> <name>fs.defaultFS</name> <value>hdfs://master.hadoop.cluster:54310</value> </property> 나는 우리가 세 가지 다른

1열

1답변

Namenode는 재시작 후 어떻게 전체 블록 정보를 재구성합니까?

저는 네임 노드를 이해하려고 노력하고 있습니다. 온라인 자료를 참조하고 하둡 (Hadoop)이라는 책을 참고했습니다 : 최종 가이드입니다. 나는 네임 노드는 같은 개념이 이해 : "편집 로그", "fsimage"를, 그리고 내 네임 노드에서 다음 파일을 볼 수 있습니다. ============================================== =

1열

1답변

HDFS에서 사용되는 용어의 명확성?

HDFS에 친숙 해지면서 여러 용어를 접했습니다. 용어의 일부는 다음과 같습니다 : namespace, metadata, transaction logs, fsimage, editlogs. 때때로이 모든 용어는 "일부 정보가있는"동일한 내용을 기술하는 것처럼 보이지만이 점에 대해서는 분명하지 않습니다. 일반적으로 metadata은 데이터에 관한 데이터를 의미

2열

3답변

Plain vanilla Hadoop 설치 대 Ambari를 사용한 Hadoop 설치

최근 아파치에서 hadoop 배포판을 다운로드하여 매우 빠르게 실행했습니다. hadoop 타르 공을 다운로드하고 위치 및 일부 구성 설정에서 압축을 푸십시오. 여기에서 필자는 yarn-site.xml, hdfs-site.xml 등과 같은 다양한 구성 파일을 볼 수 있습니다. 그리고 나는 그 허프 홈 위치를 안다. 다음으로 Ambari를 사용하여 hadoop

0열

2답변

Ambari에서 HDP 설치를위한 데이터베이스의 역할은 무엇입니까?

Apache Ambari를 사용하여 HDP를 설치했으며 기본 내장 데이터베이스 인 PostgreSQL을 사용합니다. Apache Ambari를 사용하여 HDP를 설치하기위한 DB의 필요성은 무엇입니까?

1열

1답변

ResourceManager를 사용하여 YARN 클러스터에 MR 작업을 제출하는 방법 Hortowork의 HDP?

MR 작업을 Hadoop 클러스터 (YARN 기반)에 제출하는 방법을 이해하려고합니다. 사례 1 : 하나의 ResourceManager에 (즉, NO HA 없음)가있는 경우를 들어 , 우리는이 같은 작업을 제출할 수 있습니다 (내가 실제로 사용하고 내가 올바른 생각). hadoop jar word-count.jar com.example.driver.Main

1열

2답변

Hadoop NameNode Federation

잠시 동안 hadoop에서 연맹을 이해하려고 시도해 왔습니다. 내 질문은 내가 두 개의 NameNodes NN1과 NN2를 가지고 있으며, NN1이 IT 네임 스페이스를 관리하는 재무 네임 스페이스를 관리하고 있다고 가정합니다. NN1이 다운되면 NN1이 이전에 유지 한 재무 네임 스페이스에 계속 액세스 할 수 있습니다. 그렇다면 어떻게?