Pseudo-Distributed 모드에서 Hadoop/Yarn 2.x (특히 v0.23.3)를 설정하기 만하면됩니다. 나는 약간의 블로그 & 웹 사이트의 지시에 따라 더 많은 것을 또는 덜 설정하여 그것을 설정하기 위해 처방전을 제공했다. 나는 O'reilly의 하둡 책 (역설적으로 가장 도움이되지 못했던 책)의 제 3 판을 따랐다. 인한 문제 : Aft
documnetation (http://hadoop.apache.org/common/docs/r0.20.203.0/hdfs_user_guide.html)에 따라 hadoop0.20.203.0 릴리스 이후에는 secondarynamenode가 더 이상 사용되지 않으며 checkpointnode 및 backupnode. 그러나 클러스터에서 doc (http:/
나는 주어진 시간에 (MR 작업 만 있고 다른 YARN 응용 프로그램 만있는) 작업 수를 제어하여 YONNs 자원 대기열을 사용하여 경쟁을 제어하려고했습니다. 내가 가진 상황은 다음과 같습니다. - 사용자의 요청을 받아들이고 일부 작업 (MR 작업)을 실행하는 서비스가 있습니다. 이러한 작업은 때로는 시간이 많이 소요되고 정점에있는 동안 이러한 작업은 자원
Hadoop에 초보자입니다. Hadoop 1.X에서는 마스터 노드에서 하프 스트리밍 작업을 제출하고 namenode 웹에서 결과와 실행 시간을 확인할 수 있습니다. $HADOOP_HOME/bin/hadoop jar $HADOOP_HOME/hadoop-streaming.jar \
-input myInputDirs \
-output myOutputDir \
MRv2에 해당하는 JobClient (Java, MRv1)를 찾을 수 없습니다. 나는 실행중인 작업에 대해 MR 작업 상태, 카운터 등을 읽으려고합니다. 그 자원 관리자로부터 정보를 얻어야 할 것입니다. (작업이 끝나기 전에 히스토리 서버가 정보를 갖고 있지 않기 때문에 작업이 여전히 실행되는 동안 카운터를 읽어야합니다.) mapreduce API에 누락