에서 다음 약 4 나는 아파치 하둡 소스 코드를 체크 아웃 자식을 사용하여 관리했습니다 시도, 발행 mvn eclipse:eclipse
명령과 일식으로 모든 프로젝트를 가져온 후. 지금까지 내가 가장 성공적이었습니다. 나는 거기에 아주있다. 나는 모든 프로젝트를 건설하고 청소하려고 시도했고 모든 것이 잘되고있었습니다. 이제는 3 가지 오류 만 없애 버립
출력 파일을 키로 분할하고자하는 Hadoop의 유스 케이스가 있습니다. 지금은 감속기가 단순히 이터레이터의 각 값을 출력하고 있습니다. 예를 들어 파이썬 스트리밍 코드는 다음과 같습니다. for line in sys.stdin:
data = line.split("\t")
print data[1]
이 방법은 작은 데이터 세트 (약 4GB
우리는 Elastic Map Reduce를 매우 광범위하게 사용하여 점점 더 많은 데이터를 처리하고 있습니다. 때로는 데이터가 잘못되어 작업이 실패합니다. 우리는 모든 종류의 예외를 처리하기 위해지도 스크립트를 끊임없이 수정했지만 때로는 스크립트를 손상시킬 수있는 잘못된 데이터도 있습니다. 지도 또는 축소 작업 중 일부가 실패하더라도 Elastic Map
Hadoop 클러스터가 있고 다른 프로세스가이 클러스터에 mapreduce 작업을 제출할 수 있습니다 (모두 동일한 사용자 계정을 사용함). 이러한 작업을 구분할 수있는 방법이 있습니까? 어떤 종류의 설명은 제출 과정에서 '프로세스의 일'과 같이 제출할 수 있습니다. 1234 ', 터치하지 않습니까?' 저는 Python과 HadoopStreaming을 사용
한 형식의 이진 파일을 SequenceFile로 변환하고 싶습니다. 표준 입력에서 해당 형식을 사용하고 원하는 결과를 출력 할 수있는 Python 스크립트가 있습니다. 입력 형식이 줄 기반이 아닙니다. 개별 레코드는 이진 파일이므로 출력 형식을 \ n으로 구분하거나 \ n으로 줄 바꿈 할 수 없습니다. Hadoop Streaming 인터페이스를 사용하여 바
Hadoop 스트리밍에서 매퍼 & 감속기로 Perl 스크립트를 사용하는 경우 어떻게 perl 모듈 종속성을 관리 할 수 있습니까? 내 perl 매퍼 & 감속기 스크립트에서 "Net :: RabbitMQ"를 사용하고 싶습니다. 사용자 지정 라이브러리 경로를 지정하거나 패킹을 만드는 등 의존성을 처리 할 수있는 몇 가지 방법이 있습니다
4GB 램과 4 코어의 독립 실행 형/의사 모드로 실행되는 Ubuntu VM이 있습니다. 모든 것은 제외하고 기본값으로 설정됩니다 생산 기계되지 않습니다 io.file.buffer.size=65536
io.sort.factor=50
io.sort.mb=500
mapred.tasktracker.map.tasks.maximum=4
mapred.taskt
시작시 hadoop 응용 프로그램을 시작하려고하는데 로그 파일에서이를 볼 때 문제가 무엇인지 실마리가 있습니까? HDFS에 대한 만들기 파일 시스템 : //10.170.4.141 : 9000 때 java.io.IOException :. 설정() org.apache.hadoop.conf.Configuration에서 (Configuration.java:229)
HDFS에는 여러 개의 파일이 있으며, 모두 하나의 CSV 파일이 포함 된 zip 파일입니다. 스트리밍 작업을 실행할 수 있도록 파일 압축을 풀려고합니다. 내가 시도 : hadoop jar /usr/lib/hadoop-mapreduce/hadoop-streaming.jar \
-D mapred.reduce.tasks=0 \
-mapper
zip 파일 내에서 입력 파일이 csv 인 스트리밍 작업을 실행하려고합니다. 나는, 그러나 그것은 CDH4와 일을하지 않는 것, this를 사용하여 시도 누구든지 내가 zip 파일 스트리밍에 사용할 수있는 입력 파일 리더를 알고 (I 오류 class com.cotdp.hadoop.ZipFileInputFormat not org.apache.hadoop.ma