mapreduce

6열

2답변

지도로이 알고리즘을 구현하는 데 도움이 필요합니다. Hadoop MapReduce

큰 데이터 세트를 통과하는 알고리즘을 사용하면 일부 텍스트 파일을 읽고 해당 행의 특정 검색어를 검색 할 수 있습니다. 나는 자바로 구현했지만 코드를 게시하고 싶지 않아서 나를 위해 그것을 구현할 누군가를 찾고있다.하지만 정말 도움이 많이 필요하다. 이것은 내 프로젝트를 위해 계획된 것이 아니었지만 데이터 세트는 거대하기 때문에 선생님이 내가 이렇게해야한다

6열

3답변

0.20.2 java 5와 API hadoop 버전

java 1.5.0_14에서 MapReduce 알고리즘을 구현하려고하는 maven 프로젝트를 시작했습니다. 0.20.2 API hadoop 버전을 선택했습니다. pom.xml 파일에서 난 따라서 다음과 같은 의존성을 사용하고 있습니다 : < 의존성> < groupId>org.apache.hadoop< /groupId> < artifactId>hadoop

7열

2답변

MongoDB MapReduce :지도 함수 인스턴스 내의 전역 변수?

MongoDB에 MapReduce를 작성했으며 전역 변수를 쓰기/읽기 캐시로 사용하고 싶습니다. 나는지도 기능 인스턴스에서 전역 변수를 가질 수없는 알 - 난 그냥 각 기능의 인스턴스 내에서 전역 변수 를 원한다. 이러한 유형의 기능은 Hadoop의 MapReduce에 존재하므로 MongoDB에있을 것으로 기대하고있었습니다. 그러나 다음은 작동하지 않습니다

12열

2답변

Mongo Map 처음으로 줄이기

처음으로지도/사용자를 줄이고 MongoDB를 사용합니다. 나는 Map/Reduce를 사용하여 어떤 느낌을주기 위해 많은 페이지 방문 데이터를 가지고있다. 아래는 기본적으로 내가하고 싶은 일이지만 Map/Reduce의 총 초심자로서 이것이 내 지식 이상이라고 생각합니다! 지난 30 일 동안 방문이 있었고 외부 = true 인 모든 페이지를 살펴보십시오. 그런

0열

1답변

javax.security.auth.login.LoginException : 로그인 내 윈도우 머신에

내가 하둡 작업을 실행하기 위해 노력하고있어 (버전 18.3) 실패했지만 나는 다음과 같은 오류 얻을 : Caused by: javax.security.auth.login.LoginException: Login failed: CreateProcess: bash -c groups error=2 at org.apache.hadoop.security.

1열

2답변

지도 Amazon에서 작업 줄이기 : 맞춤 jar에 대한 인수

이것은 관리 콘솔의 AWS에서 Map Reduce를 처음 시도한 것 중 하나입니다. AWS S3에 업로드 된 내 runnable jar가 Hadoop 0.18에서 개발되었으며 내 로컬 컴퓨터에서 작동합니다. 설명서에서 설명한대로 입출력을 위해 S3 경로를 jar의 인수로 전달했습니다. 그러나 문제는로드하는 동안로드해야하는 다른 경로 (문자열) 인 세 번째

32열

1답변

CouchDB에서 일대 다 "JOIN"을 수행하는 가장 좋은 방법

"SQL join"과 동일한 CouchDB를 찾고 있습니다.이 { "type" : "el", "id" : "1", "content" : "first" } { "type" : "el", "id" : "2", "content" : "second" } { "type" : "el", "id" : "3", "content" : "third" } 목록을 정의하

1열

1답변

Hadoop에서 추측 실행을위한 시간 제한을 구성하는 방법이 있습니까?

상당한 길이의 fime (몇 분) 동안 실행될 것으로 예상되는 작업으로 hadoop 작업을했습니다. 그러나 hadoop은 너무 빨리 추측 실행을 시작합니다. 나는 투기 적 실행을 완전히 없애고 싶지 않지만 투기 적 실행을 위해 일을 고려하기 전에 기다리는 시간을 늘리고 싶다. 이 시간 제한을 제어하는 구성 옵션이 있습니까? 감사합니다.

0열

1답변

MongoDB에서 ruby의 map/reduce를 사용하여이 간단한 쿼리를 어떻게 복제 할 수 있습니까? 그래서 루비에서 정규 MongoDB의 라이브러리를 사용하여

I 5001 개 문서의 집합에 걸쳐 평균 파일 크기를 찾을 수있는 다음과 같은 쿼리가 :이 avg = 0 total = collection.count() Rails.logger.info "#{total} asset creation stats in the system" collection.find().each {|row| avg +

1열

1답변

구문 분석 된 로그 데이터를 hadoop에 저장하고 관계형 데이터베이스로 내보내기

map reduce를 사용하여 Apache 액세스 로그와 Tomcat 로그를 차례로 파싱해야한다는 요구 사항이 있습니다. Tomcat 로그에서 추출되는 필드와 아파치 로그에서 벗어나는 필드는 거의 없습니다. 추출한 필드를 타임 스탬프를 기준으로 병합/매핑하고 이러한 매핑 된 필드를 전통적인 관계형 데이터베이스 (예 : MySQL)로 내 보내야합니다. 정규식