MR 스트리밍 작업이 있습니다. 내 코드는 C++입니다. 그것의 매퍼 만 직장, 감속기없이. 작업 입력은 세 개의 파일이 들어있는 디렉토리입니다. 작업은 3 개의 매퍼를 만듭니다. 각 매퍼는 하나의 입력 파일을 처리하고 다른 형식으로 하나의 출력 파일을 생성합니다. MyDir/file1
MyDir/file2
MyDir/file3
출력 파일 등이있다
HBase 스키마 디자인 관련 질문이 있습니다. 문제는 상당히 간단합니다. hbase에 각각 "status"("new", "seen"및 "read")가있는 "notifications"를 저장하고 있습니다. 여기 API 년대 내가 제공 할 필요가 있습니다 는 사용자의 모든 알림을 받기 모든 사용자 에 대한 "새로운"알림 사용자에 대한 모든 "새로운"통지의 수
쉼표로 구분 된 목록을 사용하여 돼지에서 AvroStorage로 여러 파일을로드하려고했습니다. 내가 사용한 진술은 다음과 같습니다. test_data= LOAD 'repo_1/part-r-00000.avro,repo_2/part-r-00000.avro' USING org.apache.pig.piggybank.storage.avro.AvroStorage();
PIG를 사용하여 읽을 수있는 파일 형식은 무엇입니까? 어떻게하면 다른 형식으로 저장할 수 있습니까? 우리가 CSV 파일을 가지고 있고 어떻게 MXL 파일로 저장하고 싶습니까? STORE 명령을 사용할 때마다 디렉토리를 만들고 파일을 part-m-00000으로 저장합니다. 어떻게 파일의 이름을 변경하고 디렉토리를 덮어 쓸 수 있습니까?
start -all.sh를 실행할 때 datanode가 시작되지 않을 수 있지만 컴퓨터를 다시 시작하면 정상적으로 시작될 수 있습니까? 그런 기발한 행동의 원인은 무엇일까요? 동일한 네임 스페이스 내에서 실행중인 다른 Java 프로세스가 hadoop 프로세스를 손상시키지 않습니까?
Ubuntu 11.10 시스템에서 로컬 모드를 사용하는 크롤링을 위해 Nutch (v1.4)를 성공적으로 실행했습니다. 그러나 "배포"모드 (다른 모든 것은 동일)로 전환하면 가져 오기주기 중에 오류가 발생합니다. 가상 분산 모드 (복제 요소가 1이고 맵이 1 개이고 작업 설정을 줄이는 방법이 1 개) 인 Hadoop이 시스템에서 성공적으로 실행되고 있습니
GenericOptionsParser를 통해 여러 개의 구성 매개 변수를 Hadoop 작업에 전달하려고합니다. "-D abc = xyz"를 사용하면 하나의 인수를 전달할 수 있으며 구성 객체에서 동일한 인수를 검색 할 수 있지만 다중 인수를 전달할 수는 없습니다. 여러 인수를 전달할 수 있습니까? 그렇다면 어떻게해야합니까?
추가 클래스 경로를 동적으로 설정하여 jar가 hadoop 도구 클래스에서 액세스 할 수있게하려면 어떻게해야합니까? 나는 "hadoop jar"를 통해 일을하고있다. 불행하게도 mappers와 reducers에만 적용되는 "-libjars"스위치와 같은 도구가 필요합니다. "libjars" export "HADOOP_CLASSPATH = $ HADOOP_C
HBase & HDFS가 가상 분산 모드 (Mac OSX)에서 설정 및 작동합니다. 또한 간단한 Java 응용 프로그램이 있습니다. 로컬에서 사용할 때 작동합니다. 원격으로 작동시키고 싶습니다. 서버가 라우터 뒤에 숨겨져 필요한 모든 포트가 전달되었습니다. 내가 원격으로 연결하려고하면 내가 얻을 : ...
12/01/25 23:21:15 INFO zook