VM을 사용하는 동일한 컴퓨터에서 Hadoop의 다중 노드와 관련된 쿼리

Question

나는 hadoop에 약간 익숙하다. 내가 hadoop에서 몇 가지 작업을 구현했습니다. 지금까지는 단일 노드 클러스터에서 실행 중입니다. 다중 노드 클러스터로 방향을 돌리고 싶습니다.

두 가상 머신 (VM에 모두 Ubuntu 설치)을 사용하여 동일한 시스템에 다중 노드를 구성한 경우 성능이 향상되거나 동일한 시스템에서 실행되는 것과 동일하게 유지됩니다.

(동일한 기계에서 여러 노드를 실행하면 동일한 시스템에서 실행될 모든 프로세스가 실행 대기열에 있기 때문에 실행 시간이 동일하거나 더 길어질 수 있습니다.) . 내가 틀렸다면 이것에 관해서는 거의 생각이 없다.)

최대한 빨리 알려 주시기 바랍니다. 모두에게 감사드립니다.

Answer 1

성능이 거의 다음과 같은 이유로 L : 1) VM에 더 많은 오버 헤드가 있기 때문에 작업에 사용할 수있는 메모리가 적습니다.
2) 동일한 OS 내에서 VM간에 네트워킹 속도가 느려집니다.
3) 일부 디스크 IO 오버 헤드는 VM에 의해 도입되지만 (비교적 작지만).
4) 내가 아는 한 작업 당 오버 헤드는 클러스터 크기와 관련이 있으므로 가능한 한 1 노드입니다. Mbr>
클러스터는 2 노드 클러스터보다 빠른 작업 시작 시간을 갖습니다.

또한 이러한 클러스터가 더 우수한 성능을 보이는 이유도 알 수 없습니다.

Answer 2

정확한 구성에 따라 다르지만 성능이 저하 될 수 있습니다. 새 VM을 추가 할 때 더 많은 메모리, CPU 및 IO를 추가하지 않으면 두 VM이 동일한 리소스를 사용하여 경쟁하게됩니다.