Hadoop 다중 VM 스폰하기

Question

bin/start-all.sh 스크립트를 사용하여 hadoop을 시작하면 이름 노드, 데이터 노드, 작업 추적기 및 작업 추적기에 대해 다른 JVM을 시작하는 것으로 보입니다.

더 이상, 내가 작업을 시작할 때, 각각의 작업에 대해 다른 JVM을 만드는 것으로 보입니다.

hadoop이 그렇게하는 구체적인 이유가 있습니까? 필자는 다중 노드 클러스터 환경에서 필요하다는 것을 이해하지만 단일 노드 클러스터에서도 동일하게 적용됩니다.

동일한 JVM에서 모든 것을 실행하는 구성 매개 변수를 지정할 수있는 방법이 있습니까?

Answer 1

내가 왜 이런 식으로했는지에 대해서는 언급하지 않았지만 여러 JVM을 사용하면 실제 RAM을 더 많이 사용할 수 있습니다 (O/S에 따라 다름). 당신은 또한 고립을 얻을 수 있습니다. 따라서 한 구성 요소의 구성 방법을 변경하려면 해당 구성 요소 만 다시 시작하면됩니다. 그것이 반드시 큰 이익이되는 것은 아닙니다. 또한, 구현 방식 관점에서 보면 동일한 방식으로 수행하는 것이 더 간단 할 수 있으며, 다른 설정에 대해 다른 로직을 사용하지 않아도됩니다.

OTOH, 왜 여러 JVM을 생성하지 않습니까?