기본적으로 EMR 작업 중에 인스턴스는 매퍼보다 축소 기가 적게 구성됩니다. 그러나 감속기에는 여분의 기억이 주어지지 않으므로 동일한 양을 가질 수 있어야합니다. 예를 들어, 초대형 하이 cpu 인스턴스에는 7 개의 매퍼가 있지만 리덕터는 2 개 뿐이지 만 매퍼와 축소 기는 512 MB의 메모리로 구성됩니다. 왜이 사람이 알고 있으며 매퍼로 많은 수비수를
AWS (스트리밍 작업)를 통해 맵퍼 전용 작업을 만들려고합니다. 감속기 필드가 필요하므로 더미 실행 파일을 제공하고 -jobconf mapred.map.tasks = 0을 추가 인수 상자에 추가합니다. hadoop 환경 (버전 0.20)에서는 감속기 작업이 시작되지 않지만 AWS에서는 더미 실행 파일이 실행되고 실패합니다. AWS의 감속기/매퍼 작업을 어
맵퍼 수를 늘리고 리듀서 수를 줄이면 실행 중 작업의 성능 (증가/감소)에 차이가 있습니까? 또한 mappers 및 reducers 수를 설정하는 방법에 대해 알아 보겠습니다. 나는이 설정에 대해 본 적이 없다. 왜 나는 이것에 대해 모른다. 나는 hadoop을 알고 있지만, 나는 Hive를 많이 사용함에 따라 코드를 가지고있다. 또한 매퍼와 리듀서의 수를