Amazon Elastic Map Hadoop 작업 축소

Question

Amazon Web Services 및 Map Reduce에 익숙하지 않습니다. 기본적인 문제는 기본적으로 학술 프로젝트를 만들려고 노력하고 있다는 것입니다. 많은 양의 이미지를 처리하고 있으며 특정 이미지를 감지해야합니다. 개체의 키 = averageRGB 및 값 = BufferedImage로 이루어진 개체로 채워진지도가 필요합니다. 나는이 응용 프로그램을 단일 스레드로 처리했는데 문제가되지 않았습니다. 제 질문은 : 맵을 작게 만들면 앞서 언급 한 맵을 얻을 수 있습니까? 이것이 가능하다면 ..지도를 사용하여 작업이 완료되기 전에 무언가를 할 수 있으므로 최종 결과를 얻을 수 있습니까? 마지막 질문 1 개 ... S3 버킷의 단일 폴더에 샘플 데이터를 업로드하면 Amazon의 Elastic Map Reduce가 해당 데이터를 클러스터로 분할하고 프로세스를 병렬 처리하거나 직접 데이터를 분할해야합니다. 클러스터?

실례지만 인터넷에서 올바른 답변을 찾을 수 없습니다.

감사합니다.

Answer 1

예. 언급 한대로 맵을 사용할 수 있습니다.

다시 감속기에서 최종 결과를 보내기 전에 더 많은 계산을 할 수있는 키와 값에 대한지도가 다시 표시됩니다.

데이터를 s3bucekt에 업로드 할 때. 경로를 s3n으로 입력 할 수 있습니다. 또한 s3n을 사용하여 출력을 저장할 s3bucket 경로를 지정하십시오.

s3n을 사용하여 입력 경로를 제공하면 EMR은 파일을 자동으로 EMR 노드에 다운로드하고 분할하여 모든 노드에 배포합니다. 우리는 그 목적을 위해 어떤 일도 할 필요가 없습니다.