mapper

0열

1답변

MapReduce 프로그래밍 모델 -지도 프로세스 중에 Mapper가 서로 통신 할 수 있습니다.

저감 작업은 독립적으로 단독으로 실행해야합니다. 하지만 Mapper에게는 매퍼가 서로 통신 할 수있는 기회가있는 것 같습니다. 그렇다면 설명하십시오.

1열

1답변

Hadoop Basics : 맵퍼 작업 수를 줄이면 작업 감속기가 줄어 듭니다

매퍼와 맵 작업의 차이점은 무엇입니까? 마찬가지로 감속기 및 감속 작업이 필요합니까? 또한지도 작성 작업을 실행하는 동안 매퍼, maptasks, reducers, reducetasks 수를 결정하는 방법은 무엇입니까? 그들 사이에 상호 관계를 둡니다.

1열

2답변

Hadoop - 감속기 번호를 0으로 설정했지만 같은 파일에 씁니까?

내 일은 계산이 집중적이므로 실제로는 하둡 배포 기능 만 사용하고 모든 출력을 1 개의 단일 파일로 만들어서 감속기의 수를 1로 설정합니다. 내 감속기는 실제로 아무 것도하지 않습니다. 명시 적으로 감속기의 수를 0으로 설정하면 매퍼에서 모든 출력이 동일한 1 출력 파일에 기록되도록 강제로 제어 할 수 있습니까? 감사.

0열

1답변

파이썬 매퍼 감속기에서 CountVectorizer 사용

파이썬 매퍼 감속기 기능을 사용하여 토크 나이저를 적용하려고합니다. 다음 코드가 있지만 오류가 계속 발생합니다. 감속기는 목록에서 값을 출력하고 값을 벡터화기에 전달합니다. ValueError : 빈 어휘; 아마도 문서에는 정지 단어가 포함되어 있습니다. 여러분이 제공 할 수있는 도움에 감사드립니다.

1열

1답변

MyBatis의 외부 DAO jar/library를 사용할 수 있습니까?

dao, domain (java 클래스), mapper (xml) 및 mybatis-config.xml로 구성된 jar를 만들고 싶습니다. 이렇게하면 여러 프로젝트에 프로젝트간에 중복 클래스를 피할 수있는 병이 포함될 수 있습니다. 나는 병을 만들었지 만 다음과 같은 오류가 발생했습니다. 클래스, xml 파일이 외부 jar 대신 스프링 프로젝트에있는 경우

0열

2답변

지도 작업 수 설정

지도 축소 작업을 구성하는 동안 job.setNumReduceTasks(2); 메서드를 사용하여 축소 작업 수를 설정할 수 있다는 것을 알고 있습니다. 맵 작업 수를 설정할 수 있습니까? 이 작업을 수행 할 방법이 없습니다. 이러한 기능이없는 경우이 프레임 워크가 작업을 1 개 이상 줄일 수 있지만지도 작업을 두 개 이상 가질 수없는 이유를 아는 사람이 있

0열

1답변

Hadoop에서 두 개의 다른 파일 결합하기

Hadoop에는 매우 특정한 문제가 있습니다. 나는 사용자 목록과 * raw_data * 두 개의 파일을 가지고 있습니다. 이제 raw_data는 꽤 큰 파일이고 userlist는 다른 파일보다 비교적 작습니다. 먼저 매퍼 수를 확인해야하며 내 사용자 목록은 매퍼 수와 동일한 개수로 나눠야합니다. 나중에 분산 캐시에로드해야하며 사용자 목록과 비교하고 일부

0열

1답변

분산 캐시를 통해 돼지에 파일 접근하기

나는 이것에 관해서 Stackoverflow에 많은 페이지를 훑어 보았다. 그러나 아직도 나는 혼란 스럽다. 중복 질문이나 유사한 질문이라도 답변 해주세요. 돼지마다 한 파일을 비교하고 파일 중 하나가 분산 캐시에 있으면 모든 매퍼에 로컬로 저장되기를 원합니다. 돼지에 그것을 구현하는 방법.

0열

1답변

Hadoop MapReduce 매퍼 태스크가 HDFS 또는 S3에서 입력 파일을 읽는 데 걸리는 시간

HDFS 또는 Amazon S3에서 입력 파일을 가져 오는 Hadoop MapReduce 작업을 실행 중입니다. 매퍼 작업이 HDFS 또는 S3에서 매퍼로 파일을 읽는 데 얼마나 오래 걸리는지 알 수 있는지 궁금합니다. 데이터 읽기 전용 시간을 알고 싶습니다. 해당 데이터의 매퍼 처리 시간은 포함되지 않습니다. 내가 찾고있는 결과는 매퍼가 HDFS 나 S3

0열

1답변

QWidget을 변수

에 매핑하자. 아이디어는 QWidget을 변수와 연결하여 텍스트가 위젯에서 변경 될 때 변수에서도 변경되도록하는 것이었다. 그리고는 변수 예를 QLineEdit에 대한 연결 것이 WidgetMapper::connect(ui->lineEdit, SIGNAL(textChanged(QString)), someClass.var); 같은 한 줄이 작업을 수행.