hadoop2

0열

2답변

hadoop jar/input/output 명령 대신 java 클래스를 사용하여 내 hadoop 작업을 실행하고 있습니다. 이 경우 my 명령은 다음과 같습니다. hadoop jar Main.class/input/location/output/location/thirdargument/file. Main에서 Driver 클래스의 입력 경로와 출력 경로를 추가하

0열

1답변

Ubuntu 12.04에서 Hadoop 2.2. 네임 노드가 시작되지 않을거야. 왜?

나는이 튜토리얼을 따라갈거야 - http://www.ercoppa.org/Linux-Install-Hadoop-220-on-Ubuntu-Linux-1304-Single-Node-Cluster.htm 서비스를 시작할 때. 네임 노드가 시작되지 않습니다. 다음은 내 namenode 로그입니다. Google에서 오류를 검색했지만 해결책을 찾을 수 없습니다. 나는

0열

1답변

HadoopJarStepConfig를 사용하여 여러 작업을 추가하는 방법이 있습니까? jarConfig = new HadoopJarStepConfig (HADOOP_JAR);

AWS SWF 워크 플로를 작성했으며 첫 번째 작업은 클러스터를 부팅하고 mapreduce 프로그램을 실행하는 것입니다. 이 동작은 첫 번째 항아리의 출력에 따라 실행될 2 개의 다른 mapreduce 항아리와 같습니다. 나는 이것을 사용하여 항아리를 추가했습니다. HadoopJarStepConfig jarConfig = new HadoopJarStepCo

0열

1답변

jps가 nodemanager를 표시하지 않는 이유

3 가상 박스 우분투 14.04 LTS 시스템에 hadoop 2.4.1 클러스터를 설정했습니다. 슬레이브 노드에서 jps를 실행하면 datanode 데몬 만 실행되고 포트 8088에서는 브라우저에서 두 슬레이브가 모두 실행되었음을 알 수 있으므로 평균 nodemanagers가 실행 중일 때 작업을 제출할 때도 완료됩니다. nodemanagers가 양쪽의 슬

0열

1답변

hadoop의 분할 수와 맵 작업 수

지도 축소 기능을 사용하지 않아 파이썬으로 알고리즘을 작성했으며 'n'데이터 세트에서 같은 프로그램 ('알고리즘')의 'n'맵 인스턴스를 실행해야합니다. 내 코드가 파이썬이기 때문에, 나는 내 코드에 대해 hadoopstreaming을 사용하고있다. 하둡 스트리밍 설명서에서 "입력 파일의 전체 HDFS 경로를 포함하는 파일 생성 : 각 맵 작업은 하나의 파

0열

1답변

노예의 데이타 노드는 내가 우분투 하둡 다중 노드 클러스터를 설치,

최근 마스터 노드 스토리지에없는, 모든, 네임 노드와 보조 노드 (이름 HadoopMaster), 모든 슬레이브가 (HadoopDataNode1 HadoopDataNode2) 2 입니다을 것입니다 문제는 start-dfs.sh 및 start-yarn.sh 스크립트가 실행될 때 모든 슬레이브 노드가 정상적으로 작동하는 "datanode 및 Nodemanage

3열

1답변

다른 계정의 EMR 클러스터 및 s3 파일을 사용하여 작업 실행

다른 계정의 s3에서 jar 파일 및 입출력 위치에 액세스하는 방법이 있는지 알고 싶습니다. 계정 1에서 실행중인 EMR 클러스터가 있습니다. 계정 2의 s3에서 File 및 jar 위치에 액세스하려고합니다. AWS SDK를 사용하여 AWS Simple 워크 플로를 시작합니다. 감사. http://docs.aws.amazon.com/IAM/latest/Us

1열

1답변

맵 축소 작업을 특정 슬레이브 노드에서 예약 할 수 있습니까?

Hadoop 클러스터의 모든 노드 대신 일부 특정 노드에서 맵 축소 작업을 예약 할 수 있습니까? 예를 들어, 10 개의 사용 가능한 노드 중 4 개의 슬레이브 노드에 대해 말하십시오. Google에서 검색을 시도했지만 관련 결과를 찾지 못했습니다. This page은 기본적으로 모든 작업이 전체 클러스터에서 예약되도록 지정합니다. 내 요구 사항의 이유 :

0열

1답변

마호 로그가 저장되는 곳

나는 마후트에 처음 간다. mahout 클러스터링 작업을 실행했지만 실패하여 왜이 작업이 실패하는지 알 수 없으므로 mahout 로그가 저장됩니다. 고맙습니다.

1열

1답변

우분투 (단일 노드)에 Hadoop YARN 설정

단일 노드 클러스터로 Ubuntu 13에 Hadoop YARN (2.5.1)을 설치했습니다. start-dfs.sh를 실행하면 다음과 같은 출력이 나타나며 프로세스가 시작되지 않습니다 (usng 및 ps 명령을 확인 함). 내 bashrc 설정도 아래에 복사됩니다. 내가 재구성해야 할 것에 대한 생각은? bashrc에 추가 :는 export JAVA_HOM