hadoop-streaming

7열

1답변

나는 사용하여 내 클러스터에서 실행되는 직업을 가지고 하둡 스트리밍 내가 어떻게 전달할 수 가 내가 작업 이름을 추가하고자하는 새 작업을 시작해야 명령 줄이나 파일에서 작업 이름을 설정하기위한 옵션? 자바에서, 당신은 JobConf conf = new JobConf(WordCount.class); conf.setJobName("wordcount");

0열

1답변

apache Hadoop-2.0.0 aplha 버전을 federation을 사용하여 전체 클러스터에 설치

hadoop 안정 버전을 성공적으로 설치했습니다. 그러나 hadoop -2.0.0 버전을 설치하는 동안 혼란 스럽습니다. 양쪽 노드에서 연합을 사용하여 두 노드에 hadoop-2.0.0-alpha를 설치하고 싶습니다. rsi-1, rsi-2는 호스트 이름입니다. 페더레이션 구현을 위해 아래 속성 값을 지정해야합니다. 두 기계 모두 데이터 노드에도 사용됩니다

0열

2답변

Hadoop에서만 사례를 공유 하시겠습니까?

나는 hadoop mapreduce를 처음 사용합니다. 나는 소문자 파일의 텍스트를 변환하기위한 mapreduce 코드를 개발하고 싶다.하지만 파일의 앞부분과 같은 순서로 말이다. 단어 순서 데이터 시퀀스와 비슷한 것보다는 파일의 실제 순서를 의미한다. 나에게 어떤 생각을 줄 수 있는가?

0열

1답변

Hadoop : strange ClassNotFoundException

classnotfound 예외가 발생합니다. 찾을 수없는 것으로 주장되는 클래스는 존재하지 않지만 클래스 이름은 맵 축소 작업에 대한 입력 파일 목록의 경로로 설정됩니다. INFO server Running: /usr/lib/hadoop/bin/hadoop --config /var/run/cloudera-scm-agent/process/155-hue/JOB

2열

1답변

Hadoop Custom Jars, Hadoop Streaming, Pig 또는 Mahout 중 선택할 수있는 것은 무엇입니까?

저는 엔티티 세트를 생성하고 대규모 corpora에서 pairwise 유사성을 계산할 수있는 NLP 프로젝트를 작업 중입니다. 현재 비어프 스트림을 스트리밍으로 사용 중이며 파이썬에 모든 매퍼와 리덕터를 구현했습니다. 알고리즘은 여러 라운드의 map-reduce가 필요하기 때문에 쉘 스크립트를 사용하여 작업을 연결합니다. [우려 1] : 지금 여기 내 우려

0열

1답변

Hadoop Streaming 용 Hadoop Job 객체 빌드하기

Java에서 Hadoop Streaming 작업을 구성하고 실행하려고합니다 (작업중인 시스템이 Hadoop 작업을 Java 메소드로 호출 할 수 있기를 원합니다). 나는 org.apache.hadoop.streaming.StreamJob (http://hadoop.apache.org/common/docs/r0.20.2/api/org/apache/hadoop

1열

1답변

Hadoop MapReduce 작업 입력 파일 ClassNotFound

두 개의 노드 (마스터/슬레이브 및 슬레이브)로 구성된 hadoop 클러스터에서 샘플 Map/Reduce 작업을 빌드 중입니다. 다음은 내 사양은 다음과 같습니다 $HADOOP_HOME = /usr/local/hadoop My M/R classfiles path = $HADOOP_HOME/MyMapRed_classes My Mapper classfile

0열

1답변

hadoop에서 쉘 스크립트를 찾을 수 없습니다.

hadoop 및 hadoop 스트리밍에 익숙하지 않아서이 오류가 아마도 내가 그리워하는 것이 분명합니다. 인라인 awk 매퍼 명령을 실행하면 정상적으로 작동합니다. hadoop jar $HADOOP_HOME/contrib/streaming/hadoop-streaming-1.0.3.jar -input input -output output -mapper "/u

6열

2답변

MRjob에서 입력 파일 이름을 얻는 방법

mrjob을 사용하여지도 함수를 작성하고 있습니다. 내 입력은 HDFS의 디렉토리에있는 파일에서 가져옵니다. 파일의 이름에는 파일에 존재하지 않는 작지만 중요한 조각 정보가 들어 있습니다. 주어진 키 - 값 쌍이 나오는 입력 파일의 이름을 (지도 함수 내에서) 배우는 방법이 있습니까? 나는이 자바 코드의 상당 찾고 있어요 : 사전에 FileSplit fil

2열

1답변

MR1 CDH4로 간단한 MapReduce 스트리밍 작업을 실행하지 못했습니다.

CDH3에서 최근에 CDH4를 업그레이드 한 클러스터가 있습니다. 하이브는 현재 꽤 잘하고 있습니다. 그러나 나는 그것도 간단한 MR 스트리밍 작업 (버전 1)을 실행하게 보이지 않을 수 있습니다. 실이 설치되었지만 사용되지 않습니다. 다음은 로그를 확인 $ /usr/lib/hadoop/bin/hadoop jar /usr/lib/hadoop-0.20-map