YARN을 사용하여 Hadoop Cluster에 애플리케이션을 설치하는 방법은 무엇입니까?

Question

나는 얀을 배우려고 노력하고 있습니다. 그러나 나는 장애물에 부딪쳤다. 몇 가지 질문이 있습니다.

1. 모든 응용 프로그램에 대해 데이터 노드에는 각각 컨테이너가 있어야합니다. 그러나 이러한 컨테이너는 응용 프로그램을 실행하는 동안 또는 응용 프로그램을 만들 때 필요합니까?

2. 도커에서 별도의 시스템으로 작동하는 컨테이너에 액세스 할 수 있습니다. 비슷한 방법으로 컨테이너에 액세스 할 수 있습니까?

3. 도커에서 컨테이너는 컨테이너 외부를 볼 수 없으며 컨테이너 프로세스 ID가 있고 호스트 컴퓨터에서 프로세스 ID도 가지고 있기 때문에 자체 시스템으로 작동합니다. 즉, 컨테이너는 다른 프로세스와 격리됩니다. YARN에도 비슷한 개념이 있습니까?

미리 감사드립니다. :)

Answer 1

YARN은 당신이 생각하는 것과 다릅니다. 그것은 도커 컨테이너를 실행하기위한 것이 아닙니다. YARN은 분산 응용 프로그램 (Spark, MapReduce 등)을 시작하기위한 것입니다.

1. YARN에 앱을 설치할 수 없습니다. YARN에서 앱을 '실행'할 수 있습니다.

2. 컨테이너는 분산 응용 프로그램의 모든 프로세스가 YARN에 의해 ​​할당 된 제한된 리소스로 실행되도록 지정하는 YARN 추상화입니다. 자바 프로세스이기 때문에 컨테이너에 액세스 할 수 없습니다.

3. 이전에 언급했듯이 YARN의 컨테이너는 일반적인 Linux 프로세스입니다. "ps"와 같은 것을 실행하여 pid를 볼 수 있습니다.