hadoop

1열

1답변

스트리밍으로 hadoop을 실행하려고합니다. 두 파일이 있습니다. 하나는 매퍼에 대한 자바 파일이고 다른 하나는 감속기에 대한 파이썬 스크립트입니다. MerkleMapper.java Class MerkleMapper extends MapREduceBase 및 map() 함수를 정의합니다. 입력 분할의 각 레코드에 대해 들어오는 key(byte_offset)

2열

1답변

읽기/쓰기 (Hadoop) 중에 오류가 발생했습니다

나는 hadoop을 설치하기 위해 this 튜토리얼을 따랐습니다. 음, hadoop.tmp.dir로 \ usr \ local \ hadoop을 사용하면 모든 것이 잘 작동합니다. 이 파티션에 공간이 거의 없으므로이 값을/NEW_partition/(ext4)로 설정하려고 시도했지만 항상 일부 Java 오류가 발생했습니다. hadoop이이 파티션에 쓸 수 없기

0열

1답변

Hadoop FairScheduler의 고급 내부 데이터 구조 및 알고리즘은 무엇입니까?

간단한 수준에서 Hadoop FairScheduler의 내부는 무엇입니까? 그들은 각 대기열에 대해 보관 된 시간을 결정하기 위해 priorty queue, heap을 사용합니까? 또는 다른 기술이 사용됩니까?

0열

6답변

레코드 수를 계산하기위한 MApreduce 코드 작성하기

주어진 CSV 파일의 레코드 수를 계산하는 mapreduce 코드를 작성하고 싶습니다.지도에서 수행 할 작업을 수행하지 못하고 어떻게 해결해야합니까? 아무도 뭔가 제안 할 수 있습니까?

3열

1답변

큰 csv 파일을 처리하기 위해 Python에서 Hadoop 사용

Amazon EMR (python)에서 Hadoop MapReduce를 사용하여 처리하고자하는 거대한 CSV 파일이 있습니다. 파일에는 7 개의 필드가 있지만 날짜는이고 수량은 필드입니다. 첫째 "date" "receiptId" "productId" "quantity" "price" "posId" "cashierId" , 감속기를 들어 import sy

1열

2답변

하이브를 iReport에 연결하는 방법은 무엇입니까?

나는 Hadoop-0.20.0과 Hive-0.8.0을 사용하고 있습니다. 이제 하이브 테이블에 데이터가 있고 그것으로부터 보고서를 생성하고 싶습니다. 그 때문에 나는 iReport-4.5.0을 사용하고있다. 그 때문에 HivePlugin-0.5.nbm을 iReport에 다운로드합니다. 이제 하이브 연결을 iReport에 연결하겠습니다. 새 데이터 소스를 작

0열

2답변

새 API를 사용하는 Hadoop 맞춤 입력 형식

저는 하둡에 초보자이며 다음과 같은 문제가 있습니다. 내가하려는 것은 데이터베이스의 샤드를 맵핑하는 것입니다 (왜 그런 작업을해야하는지 묻지 말기 바란다). 그리고 나서이 데이터에 대해 특정 작업을 수행하고, 결과를 감속기에 출력하고, 그 출력을 다시 사용한다. 동일한 샤드 형식을 사용하여 동일한 데이터에 대해 두 번째 단계 맵/축소 작업을 수행합니다. H

0열

1답변

Amazon EC2 Hadoop을 통해 많은 대용량 파일 다운로드

아마존 ec2에서 hadoop 클러스터를 실행하여 수만 개의 파일을 다운로드 한 다음 나중에 처리하기를 원하지만 많은 작업을하기 전에 싶습니다. 나보다 더 많은 경험을 가진 사람이 가능하다고 생각한다면? 내가 hadoop 노예에 파일을 다운로드 할 수있는 것에 대해 약간의 의구심이 있습니다. 이것이 가능하다고 생각한다면 아마존 ec2에서 실행되는 각 슬레이

3열

3답변

Hadoop 1.0.0 제거 방법

Hadoop 2.0.2로 Hadoop 클러스터를 설정했습니다. 그런 다음 오늘 1.0.0을 시험해 보았습니다. 그래서 나는 Hadoop 웹 사이트에서 deb 파일을 다운로드하고 설치했다 : 모든 것을 엉망으로 만든다. 내가 "하둡을 -a하는"입력 할 때 이제 , 나는 내 옛 하둡 설치 폴더 하고는/usr/빈/하둡을 가리키는 다른 하나에 2 개 결과 한 포인

1열

1답변

가상 분산 노드에서 Hadoop 확장 성 성능 예측?

가상 분산 아키텍처를 사용하는 단일 시스템 만 사용하여 Hadoop의 확장 성 성능을 평가/시뮬레이션 할 수있는 도구, 패키지 또는 방법이 있습니까? 이러한 시스템은 시뮬레이션에서 서로 간섭하지 않는 작업 (예 : 블록화 된 I/O)을 기반으로 정확한 추정을해야합니다. 내 생각에 이것이 작동하는 방법은 모든 맵을 실행/작업을 순차적으로 줄이고 시스템이 얼마