hadoop

2열

1답변

클라이언트의 경우 AWS EC2에서 Cloudera flavor hadoop 클러스터를 실행하는 단기적 타당성을 조사했습니다. 대부분의 경우 논리적 볼륨의 성능이 거의 신뢰할 수 없다는 결과가 예상되어 상황에 맞게 클러스터를 정상적으로 실행할 수 있다고 말했습니다. 어제 밤 나는 수입업자 스크립트를 테스트하여 지정된 HDFS 경로에서 데이터를 가져와 Hba

4열

2답변

Mapper 및 reducers에 객체를 전달하는 방법

hadoop에서 실행되는 응용 프로그램이 있습니다. 어떻게 데이터를 처리 할 수 있도록 대상을 매퍼와 축소기에 전달할 수 있습니까? 예를 들어, Mappers에서 처리 된 행을 필터링하기위한 FieldFilter 객체를 선언합니다. 필터는 사용자가 지정한 많은 필터 규칙을 포함합니다. 그래서, 어떻게 필터와 규칙을 Mappers와 Reducers에 전달

0열

1답변

이미지 저장을위한 Hadoop (HDFS)

최근에는 "Hadoop"이라는 유명한 소프트웨어 스택을 보았습니다. Hadoop은 HDFS라는 분산 파일 시스템을 제공합니다. 이제 이미지와 다른 미디어 파일을 대량 저장하는 시스템이 필요합니다. 작업 읽기> 작업 작성. 신뢰성, 폴백 솔루션 및 성능이 필요합니다.. HDFS가 내 필요에 대한 해답을 얻었습니다. Hadoop (HDFS 사용)이 나에게 적합

6열

1답변

Hadoop MapReduce 중간 출력

응용 프로그램을 편집하지 않고 MapReduce 작업의 중간 (지도 단계) 출력을 기록하기 위해 출력 할 수있는 방법이 있습니까? (응용 프로그램은 광산이 아니지만 클러스터는 내가 원하는대로 Hadoop Cluster를 설정할 수 있습니다.)

1열

1답변

하둡 - 내가 하둡 맵리 듀스를위한 자바에서이 같은 클래스 뭔가를

특정 노드에 대한) (각 맵에 대한 매퍼 내부 기능을하는 클래스의 단일 인스턴스를 만들기 public Class MyClass { public static MyClassMapper extends Mapper { static SomeClass someClassObj = new SomeClass(); void map(Object

0열

2답변

하이브를 bz2로 작업하는 방법은 무엇입니까?

bz2는 분할 가능하고 공간을 절약하기 때문에 테이블 데이터를 bzip2 형식으로 저장하려고합니다. 그러나 압축 된 형식을 인식하지 못하는 것으로 보입니다. 그것은 gzip 형식으로 잘되었습니다. 내가 사용하는 코드는 다음과 같습니다 CREATE TABLE IF NOT EXISTS image_bzip ( image_id STRING, ima

0열

1답변

서버는 namenode가있는 보조 namenode docheckpoint 중에 403을 반환합니다.

클러스터에서 hadoop을 구성 중입니다. 모든 노드가 성공적으로 시작하지만, 보조 노드는 다음 로그로 doCheckpoint 실패 : 2011-10-25 11:09:07,207 ERROR org.apache.hadoop.hdfs.server.namenode.SecondaryNameNode: Exception in doCheckpoint: 2011-10-

4열

2답변

HBase는 MapReduce의 새로운 영역을 클러스터 전체에 어떻게 배포합니까?

내 상황은 다음과 같습니다. 20 명의 노드로 구성된 Hadoop/HBase 클러스터에 3 명의 ZooKeepers가 있습니다. MapReduce를 통해 HBase 테이블에서 다른 HBase 테이블로 많은 데이터를 처리합니다. 이제 새 테이블을 만들고 출력 싱크로 해당 테이블을 사용하도록 모든 작업에 지시하면 모든 데이터가 동일한 regionserver로

1열

2답변

hadoop 스트리밍 : 응용 프로그램 로그를 보는 방법?

/usr/local/hadoop/logs 경로에있는 모든 hadoop 로그를 볼 수 있습니다. 응용 프로그램 수준 로그는 어디에서 볼 수 있습니까? mapper.py 내 응용 프로그램의 logging.info 또는 관련 로그 문을 볼 수 있습니다 import logging def main(): logging.info("starting map t

1열

3답변

컴퓨팅으로 클라우드로 마이그레이션

레거시 단일 프로세서 프로그램을 클라우드로 변환 할 수있는 자동 도구가 있습니까? 예를 들어, 대상 프로그램이 클라우드에서 실행할 준비가되었습니다 (예 : Hadoop 용으로 작성된 프로그램)? 그렇지 않은 경우 이러한 변형 (총 재 작성)을 수동으로 수행 할 때 가장 좋은 방법은 무엇입니까? 또한 레거시 프로그램 (또는 프로그래밍 작업)이 컴퓨팅에 적합한