모든 병렬 문제에 대한 MapReduce?

Question

MapReduce는 거대한 데이터 세트의 병렬 문제를 해결하는 데 유용하다는 것을 알고 있습니다. 그러나 어떤면에서 평행 화가 가능하지만 MapReduce에 적합하지 않은 문제의 예가 있습니까?

Answer 1

예 아니요. 그것은 그들이 어떻게 구조화되고 쓰여지는지에 달려 있습니다. 주어진 데이터 스텝/맵 - 감소 함수에서 map reduce가 제대로 병렬화되지 않는 문제가 있습니다. 대칭 행렬에 대한 동시 방정식 해석은 한 가지 예입니다. 단일 함수로 작성된 경우 (많은 경우 단일 노드에로드 될 수 있음) 동시성의 명백한 이유로 인해 병렬화되지 않습니다. 이 문제를 해결하기위한 공통적 인 해결 방법은 별도의 프로세서에서 프리 매트릭스 계산을 분리하는 것입니다. 병렬 계산이 거의 불가능하기 때문입니다. 이를 없앰으로써 map-reduce 옵티마이 저는 다른 노드보다 더 많은 노드를 처리하고 처리 능력을 향상시킬 수 있습니다.

Answer 2

거의 관찰 :

• 우리는 하둡 및 일반 분할 & 집합 개념 (즉, 단지 키/값 매핑에 한함) 하둡 복사 맵리 듀스의 초기 구글 구현을 혼동해서는 안 맵리 듀스를 기반으로

• 맵리 듀스 생각에 (분할, & 집계를 분할 &가 동의 단지 몇 가지 다른 이름이다이 경우)에 작은으로 분할을 통해 처리의 약 병렬화입니다 독립적으로 병렬로 처리 할 수있는 하위 작업 (데이터 집약적, 계산 집약적 또는 다른 방법)

• MapReduce는 일반적으로 큰 데이터 세트와 관련이 없습니다 , 또는 전혀 데이터. 그것은 성공적으로 작은 데이터 세트 또는이

• 는 맵리 듀스 원래 작업이로 분할 할 수없는 경우에 일반적으로 작동하지 않습니다 귀하의 질문에에 대답하기 위해 순수 처리 병렬화를 위해 사용된다 계산 맵리 듀스에 사용된다 독립적으로 병렬로 처리 할 수있는 일련의 하위 작업 실제 생활에서는 MapReduce 처리 유형에 대해 대부분의 명확하지 않은 문제를 근사 할 수 있으므로 사용 사례는이 범주에 속하지 않습니다.