mapper

-1열

2답변

R 언어를 사용하여 Mapper 및 Reducer 프로그램을 작성했습니다. 나는 hadoop에서 R 프로그램을 실행하기 위해 Hadoop 스트리밍 유틸리티를 사용하고있다. 내 제약 조건은 매퍼 프로그램에 2 개의 텍스트 파일을 입력해야한다는 것입니다. 그것을 성취하는 방법? 가장 빠른 시간에 친절하게 도와주세요. 당신은 둘 다 표준 입력을 통해 스트리밍되는

0열

1답변

MapReduce에서 X 레코드를 처리 한 후 감속기를 멈추는 방법

Mapper를 사용하여 많은 양의 데이터를로드합니다. 실행 시간과 큰 쿼리가 관련되어 있습니다. 가장 비싼 1000 개의 쿼리를 찾아야합니다. , 그래서 내 매퍼의 출력에 키로 실행 시간을 입력합니다. 나는 1 감속기를 사용하고 기록 만 작성하고 감속기는 처리를 중지하기를 원합니다. I 글로벌 카운터가 있고이 경우 작업을 수행 할 수 있습니다 { conte

2열

1답변

org.apache.hadoop.mapreduce (new) API를 사용하는 경우 Hadoop MapReduce 매퍼 출력 압축을 구성하는 방법은 무엇입니까?

새로운 mapreduce API에서 매퍼 출력 압축을 켤 수 있습니까? 그렇다면 어떻게 될 수 있습니까? hadoop.mapred.JobConf API를 기반으로 한 예제가 많이 있지만 mapreduce API는 없습니다. new API를 통해 구성 할 수없는 경우 API를 작동시켜야합니까?

0열

1답변

입력/출력 흐름은

내가지도 내가 감속기의 출력을 원하는이 -지도에서> reduce->지도 처럼 체인을 줄일 수있는지도 감소 chaining.i에 대한 도움이 필요 체인 감소 마지막 매퍼에서 사용할 수 예를 들어, 내 감속기에서 나는 직원의 최대 급여를 받고 있는데이 값은 다음 매퍼에서 사용되고 그 최대 급여 value.so와 함께 레코드를 찾을 수 있습니다 내 마지막 매퍼는

0열

1답변

은 실패한 맵 작업에 대해 호출 된 cleanup() 메소드입니다.

실패한 맵 작업에 대해 cleanup() 메서드가 호출 되었습니까? 그렇다면 '원 자성'을 어떻게 보장 할 것인가? 필자의 경우, cleanup() 메소드에서 DB에 기록되는 매퍼 (mapper)에서 일부 통계를 준비하고 있습니다. 이 경우 매퍼가 입력 분할 실행 중 실패하면 정리 메소드는 처리 된 데이터를 DB에 씁니다. 대체 매퍼 시도가 동일한 데이터를

0열

2답변

유형이 상속 된 추상 메소드를 구현해야합니다. Reducer.reduce (Object, Iterator, OutputCollector, Reporter)

저는 Hadoop을 처음 사용하는데 이것은 첫 번째 Hadoop 프로그램입니다. WordMapper라는 Mapper 클래스를 만들려고하는데 아래 오류가 발생합니다. 상속 된 추상 메소드 Mapper.map (객체, 객체, OutputCollector, 리포터)를 구현해야하는 타입 WordMapper public class WordMapper extends

1열

1답변

개미의 정규식과 일치하는 파일 복사

개미 스크립트의 패턴과 일치하는 일부 파일을 복사하는 데 문제가 있습니다. 나는 다음과 같습니다 <property name="IncludedLocales" value="de_DE|es_ES|fr_FR|it_IT|ja_JP" /> <copy todir="${dest}"> <fileset dir="${src}" includes="**/*.pro

0열

1답변

줄에 표시 TableView에서 행을 클릭 할 때 필드를 편집하십시오.

C++에서 lineEdits 및 Labels가 위쪽이고 TableView가 아래쪽에있는 CRUD 양식을 사용하고 있습니다. 둘 다 QSqlRelationalTableModel이 동일합니다. "간단한 위젯 매퍼"예제를 이해하지만 어떻게 TableView와 LineEdits 간의 통합을 수행 할 수 있습니까? 예 : 테이블의 행을 클릭하면 위의 데이터가 표시되

0열

1답변

입력 파일 대신 해시 맵으로 입력을 설정할 수 있습니까?

Dynamodb에 의한 병렬 스캔 기능을 사용하는 MapReduce 작업을 설정하려고합니다. 기본적으로 각 매퍼 클래스는 튜플을 입력 값으로 사용하기를 원합니다. FileInputFormat.addInputPath(job, new Path(args[0])); FileOutputFormat.setOutputPath(job, new Path(args[1]))

0열

1답변

매퍼의 Compound PrimaryKey

저는 실제로 스카 리프트를 사용하고 있습니다. 나는 매퍼 (Mapper)와 웹에서 봤던 것 (아래 링크)에서 불가능한 복합 PK를 설정할 필요가있다. 어떻게해야합니까? 링크 : 지금은 How to create Composite-key for a Model in lift's mapper? https://groups.google.com/forum/?fromgr