최신 버전의 Hadoop mapreduce ('Yarn')에서는 JobTracker (이전 버전에 있음)가 ResourceManager ('RM') 및 ApplicationMaster로 대체되었습니다. 얀 아키텍처에 대한 공식 문서에는 MapReduce 클러스터에 몇 개의 RM이 있으며 얀 구조에 대한 주어진 그래프에 클러스터에 RM이 하나만 있다는 것을 나타내는 단어가 없습니다.ResourceManager가 다운되면 어떻게됩니까?
그럼 RM 만 다운 시키면 어떻게 될까요? 여러 개의 RM이있는 경우 어떻게 함께 작동합니까?
누군가 나를 설명 할 수 있기를 바랍니다. 감사합니다. .
랙당 하나의 RessourceManager가 있지만 클러스터에 여러 랙을 가질 수 있습니다.
RessourceManager가 다운 된 동안 작업을 제출하려고하면 Hadoop은 작업을 실행하는 데 필요하기 때문에 RessourceManager에 연결을 시도합니다.
14/06/06 09:39:54 INFO ipc.Client: Retrying connect to server: hadoop01.sii.fr/10.6.6.211:8032. Already tried 1 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1000 MILLISECONDS)
14/06/06 09:39:55 INFO ipc.Client: Retrying connect to server: hadoop01.sii.fr/10.6.6.211:8032. Already tried 2 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1000 MILLISECONDS)
14/06/06 09:39:56 INFO ipc.Client: Retrying connect to server: hadoop01.sii.fr/10.6.6.211:8032. Already tried 3 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1000 MILLISECONDS)
RM은이 돌아
, 작업이 올바르게 제출하는 경우 : RM가 다운하고 작업을 제출하려고 할 때 다음 는 로그의 예입니다.
답장을 보내 주셔서 감사합니다. 죄송합니다 답변을 너무 늦게 볼 수 있습니다. 하지만이 RM들이 어떻게 함께 작동하는지 설명해 주시겠습니까? 여러 랙에 여러 개의 RM이 있고 작업을 하둡에 제출해야하는 경우 어떤 RM이 사용되고 어떻게 사용되어야합니까? 감사. – Alvis
답변에 따르면, 클러스터에서 유일한 RM이 다운 된 경우 작업이 저장된 위치는 어디입니까? Hadoop이 RM을 연결하려고 시도하는 횟수는 몇 번입니까? 구성 가능합니까? 나는 하둡의 최신 버전입니다. 알고 있다면 나에게 설명 할 수 있기를 바랍니다. 감사. – Alvis
죄송합니다. 첫 번째 질문에 대답 할 수 없습니다. 하나의 RM이없는 작은 아키텍처가 있기 때문에 대답 할 수 없습니다. D 두 번째 질문에 대해 wshat는 "구원받은 일"을 의미합니까? RM은 작업이 실행될 때까지 다시 연결을 시도합니다. 즉 작업을 종료하지 않을 때까지 다시 연결을 시도합니다. – Junayy