나는 id, movieid , date, time
3710100, 13502, 2012-09-10, 12:39:38.000
지금 기본적으로 내가하고 싶은 것은 이것이다 형태의 데이터가 .. 내가 특정 영화가 7 사이에 시청 횟수, 발견 할 오전 그래서 기본적으로 삼십분 간격으로 오전 11시 .. 몇 번이나 영화은 012,351 사이에 감시하고있다 6
FTP 서버에서 파일을 다운로드하는 응용 프로그램이 있습니다. 우리는 Map reduce를 사용하여 ftp에서 파일을 다운로드하여 효율성을 향상시킬 계획입니다. 내 첫 번째 질문은 실제로 맵 축소를 사용하여 효율성을 향상시킬 수 있습니까? 우리가 논리적으로 주장하는 것은 각 맵퍼에서 다수의 맵퍼와 읽기 채널이 실제로 다운로드 프로세스를 병렬로 빠르게 수행한
나는 무슨 일이 일어 났는지 잘 모르겠지만 간단한 매퍼 및 감속기 스크립트를 작성했습니다. 그리고 작은 데이터 세트 (몇 줄 길이)와 비교하여 테스트하고 있습니다. 감속기가 시작되지 않고 매퍼가 계속해서 실행되고 있습니까? 12/11/20 09:21:18 INFO streaming.StreamJob: map 0% reduce 0%
12/11/20 09:2
단어 계산을 위해 hadoop 축소기를 구현하고 싶습니다. 내 감속기에서는 해시 테이블을 사용하여 단어 수를 계산합니다.하지만 내 파일이 매우 큰 경우 해시 테이블은 극도의 메모리를 사용합니다. 어떻게이 문제를 해결할 수 있습니까? (예 : 각 감속기가 1,000 만 줄의 파일이 1 억 개의 단어를받는 파일) 해시 테이블에 1 억 개의 키가 필요하다는 단어
Azure C# Streaming 예제 튜토리얼에서 Hadoop을 시도했습니다. 내 계정에 샘플 코드를 설치 한 다음 출력을 따라 작업을 실행하려고하면 빈 파일이 생성되고 하루가 끝났습니다. 때로는 생성되지도 않습니다. 다음과 같은 것들이 내 화면에 표시됩니다. First Screen http://i47.tinypic.com/29459qt.jpg 이 유형의
원격 시스템에 연결하고 sftp 프로토콜을 사용하여 데이터를 전송하는 응용 프로그램이 있습니다. 나는 같은 일을하기 위해 mapreduce 일을 사용하고 싶다. 입력 스트림에서 읽는 입력 형식이 필요합니다. HStreamInputFormat 및 StreamInputFormat에 대한 문서를 살펴 보았지만 hadoop-2.0 doesnt는 이러한 클래스를 지
내 Mac에서 단일 노드 Hadoop 클러스터로 일부 문제를 디버깅하려고합니다. export HADOOP_OPTS="-Djava.security.krb5.realm=OX.AC.UK -Djava.security.krb5.kdc=kdc0.ox.ac.uk:kdc1.ox.ac.uk"
이 오류 제거 : 모든 설정 문서에 추가 할 말합니다이 작동 Unable to