elastic-map-reduce

0열

1답변

Amazon Web Services 및 Map Reduce에 익숙하지 않습니다. 기본적인 문제는 기본적으로 학술 프로젝트를 만들려고 노력하고 있다는 것입니다. 많은 양의 이미지를 처리하고 있으며 특정 이미지를 감지해야합니다. 개체의 키 = averageRGB 및 값 = BufferedImage로 이루어진 개체로 채워진지도가 필요합니다. 나는이 응용 프로그램

0열

1답변

AWS - 현재 단계에서 EMR 단계를 추가하려면 어떻게합니까

단일 단계 사용자 정의 JAR을 실행하는 EMR 클러스터가 있습니다. 런타임에 첫 번째 단계에서 두 번째 단계를 만들어야합니다. 어떻게해야합니까? 내가 CLI를 사용하여 그것을 할 수 있지만 어떻게 그것을 자바를 사용하여 수행 할 수 있습니다 알아요? 감사 자바 http://docs.aws.amazon.com/ElasticMapReduce/latest/De

0열

2답변

Hadoop - 내 사례의 성능을 향상시키는 방법은 무엇입니까?

현재 AWS-EMR을 클러스터로 사용하고 있습니다. 라이브러리의 경우, 나는 계단식을 사용한다. 입력 데이터는 aws S3의 디렉토리에 저장됩니다. 디렉토리에는 약 100MB 크기의 많은 파일 (압축되지 않은 일반 텍스트)이 포함되어 있으며 매일 100 개의 파일에 쉽게 도달 할 수 있습니다. 각 파일의 파일 이름에는 날짜가 들어 있습니다. 하루가 끝나면

0열

1답변

Amazon Web Service EMR FileSystem

AWS EMR 클러스터에서 작업을 실행하려고합니다. AWS 때 java.io.IOException : 계획 없음 파일 시스템 : HDFS 내 문제는 내 자바 항아리 작업 또는 작업의 구성에서 (상주 정확히 잘 모릅니다 임 점점 문제는 다음과 같다) 내 S3 버킷에서 (입력) 폴더를 만들고 거기에 내 데이터와 함께 파일 무리를 가하고있어. 그런 다음 인수 I

0열

1답변

내가 (표 3)</p> <p>나는를 표 2) HBase를 2 테이블 표를 비교하고 세 번째 테이블에 요약을 작성하는 HBase를에 MR을 사용할 필요가 TableMapReduceUtil

사용하여 세 번째 표를 HBase를하고 쓰기 요약 두 테이블을 비교 아래 TableMapReduceUtil suedo 코드를 사용하십시오. 매퍼 : 표 1 감속기 : 표 3. 매퍼에서 Table1 값과 Table2를 비교해야합니다. 어디서 Table2를 인스턴스화합니까? 매퍼에서 각 매퍼에 대해 Table3을 인스턴스화해야합니까? 전체 MapReduce 작

1열

2답변

내 로컬 컴퓨터에 hadoop 클라이언트를 생성하는 중 문제가 발생했습니다.

awen에서 namenode 및 데이터 노드가 실행되고 있습니다. 나는 명 FoxyProxy를 구성하고 작업하고있는 다음을 확인 : Ganglia Metrics Reports master-public-dns/ganglia/ Hadoop ResourceManager master-public-dns-name:9026 Hadoop NameNode master

2열

1답변

파이썬은

돼지 0.12 아마존 EMR 도입 스트리밍 파이썬 UDF를 돼지에서 UDF를 스트리밍 사용하지만, 그들은 실험, 그래서 그들은 하둡 1. http://pig.apache.org/docs/r0.12.1/udf.html#python-udfs 그러나, 단지 아마존에서 제공하는 AMI 필요로하는 방법 즉 0.12이 하둡 2.4을 사용 AMI 3.1.0입니다 돼지를

0열

1답변

빈 테이블에 오류가 발생하도록 강제로 설정합니다.

AWS EMR 클러스터를 사용하여 하이브를 실행하고 있습니다. 특정 테이블을 절대로 비워서는 안된다. refrence 테이블과 같은 초기 생성 이후에 오류가 발생하거나 (또는 메시지를 기록하는) 비어있는 것으로 확인되면 처리를 중지한다. 누구든지 이것을 달성 할 수있는 방법을 알고 있습니까? 감사

0열

1답변

LeaseExpiredException 하이브에 사용자 정의 UDF가있는 경우

UA 문자열에서 장치를 추출해야하는 하이브 UDF가 있습니다. https://github.com/tobie/ua-parser UDF를 오히려 간단하다 : 그것은 UA-파서 라이브러리를 사용 public class DeviceTypeExtractTest extends UDF{ private Text result = new Text(); private st

8열

2답변

scikit-learn을 사용하여 임의의 포리 스트를 병렬 생성

주요 질문 : 다른 randomForest를 파이썬과 scikit-learn에서 어떻게 조합합니까? 현재 R에서 randomForest 패키지를 사용하여 elastic map reduce를 사용하여 임의의 우림 개체를 생성하고 있습니다. 이것은 분류 문제를 해결하기위한 것입니다. 입력 데이터가 너무 커서 한 컴퓨터의 메모리에 맞지 않기 때문에 데이터를 작은