hadoop

0열

2답변

VM을 사용하는 동일한 컴퓨터에서 Hadoop의 다중 노드와 관련된 쿼리

나는 hadoop에 약간 익숙하다. 내가 hadoop에서 몇 가지 작업을 구현했습니다. 지금까지는 단일 노드 클러스터에서 실행 중입니다. 다중 노드 클러스터로 방향을 돌리고 싶습니다. 두 가상 머신 (VM에 모두 Ubuntu 설치)을 사용하여 동일한 시스템에 다중 노드를 구성한 경우 성능이 향상되거나 동일한 시스템에서 실행되는 것과 동일하게 유지됩니다. (

2열

2답변

하둡 스트리밍 : 매퍼가 실행될 때 PYTHONPATH가 작동하지

(가장 최근의 난에서 설정 PYTHONPATH이 그리고 내가지도-감소 작업 그것은 역 추적을 말하는 실패 실행할 때를 제외하고도 잘 작동 last call) : 파일 "/work/app/hadoop/tmp/mapred/local/taskTracker/hduser/jobcache/job_201203091218_0006/attempt_201203091218_0

1열

4답변

Hadoop 단어 수에서 예기치 않은 결과가 발생했습니다.

최소 10 번 이상 발생하는 단어를 출력하도록 아래 코드를 수정했습니다. 하지만 작동하지 않습니다. 출력 파일이 전혀 변경되지 않습니다. 작동 시키려면 어떻게해야합니까? import java.io.IOException; import java.util.*; import org.apache.hadoop.fs.Path; import org.apache.h

2열

3답변

hadoop getmerge를 사용하여 문서간에 새 줄 추가하기

나는 hadoop에서 여러 파일을 가져 와서 하나의 큰 파일로 병합하려고하고 있으며 각 문서 사이에 줄 바꾸기를 원합니다. hadoop fs -getmerge <src> <localdst> addnl 정확히 그 일을해야하지만, 상관없이 개행을 추가하는 것 같지 않습니다! 나는 또한 시도했다 hadoop fs -getmerge <src> <localdst>

1열

1답변

HDFS 복제 - 데이터 저장

나는 hadoop에 상대적으로 초보자이며 HDFS에서 복제가 어떻게 작동하는지 더 잘 이해하고자합니다. 10 노드 시스템 (각 노드에 1TB)이 있고 총 용량이 10TB라고 가정 해 보겠습니다. 복제 계수가 3 인 경우 각 파일에 대해 원본 복사본 1 개와 복제본 3 개가 있습니다. 본질적으로 내 스토리지의 25 %만이 원래 데이터입니다. 따라서 10TB

3열

4답변

hadoop에서 HDFS에 연결할 때의 EOFException

포함 된 테스트 프로그램에서 로컬 디스크의 파일을 HDFS로 복사하려고합니다. package foo.foo1.foo2.test; import java.io.IOException; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FileSystem; import or

5열

1답변

복구 Hadoop NameNode 실패

시나리오 1 : HDFS fsimage 및 editlog는 NFS 마운트를 포함하여 여러 곳에 작성됩니다. A) 네임 노드 데몬 충돌 : 해결 방법 : 이름 노드가 실행된다 그냥 네임 노드 과정을 B) 호스트를 다시 시작는 아래입니다. 솔루션 : 가 빈 dfs.name.dir 우리는 메타 데이터의 복사본이 어디 NFS에 dfs.name.dir 마운트 포인트

6열

2답변

일반 텍스트 입력 및 avro 출력을 사용하는 mapreduce 작업

지도 축소 기능을 사용하는 Avro를 사용하는 것에 대해 혼란스러워하며 따라야 할 좋은 자습서를 찾을 수 없습니다. AvroJob 및 AvroMapper와 같은 클래스는 입력 및 출력이 모두 Avro 데이터 파일 일 때 문제가 발생하는 것으로 보입니다. 귀하의 의견이 일반 텍스트 일 때는 어떻습니까? 구체적 : 내 맵퍼로 입력 LongWritable 키

1열

3답변

XmlInputFormat을 사용할 수 없습니다. Java에서 TextInputFormat을 확장합니다.

Hadoop을 사용하여 WordCount를 수행하려고합니다. XmlInputFormat.class를 사용하여 XML 태그의 파일 기반을 분할하려고합니다. XmlInputFormat.class는 here XmlInputFormat.class 그것은 이 입력 작업에있어서의 setInputFormatClass (종류)가 아닌 오류를 도시 Job job = new

1열

3답변

사용 필터는

내가 돼지 라틴어로 초보자입니다 실패와 나는 FILTER 문에 대한 문제를 발견했다. 예 봐 : 1,2,3 2,3,4 3,4,5 4,5,6 내가 그의 첫 번째 필드 '3'인 레코드를 선택합니다 : 우리가 내용이있는 데이터 파일 (TEST.TXT)가 가정하자. 돼지 스크립트는 다음과 같습니다. t = LOAD 'test.txt' USING PigSt