누군가 Hadoop Standalone 및 Pseudodistributed 모드의 데이터 흐름의 차이점을 말해 줄 수 있습니까? 사실 나는 John Norstad가 제시 한 행렬 곱셈의 예제를 실행하려고합니다. hadoop 독립 실행 형 모드에서 제대로 실행되지만 의사 배포 모드에서는 제대로 작동하지 않습니다. 나는이 문제를 해결 할 수없는 나는 그래서 나에게 말했다 problem.ThanksHadoop Standalone 및 Pseudodistributed 모드의 DataFlow 차이점은 무엇입니까?
을 고정 도움이 될 수 하둡 독립과 pseudodistributed 모드 사이 원칙의 차이를 알려주세요Reagrds, 독립 모드 모두에서
WL
(namenode, datanode, tasktracker, jobtracker)가 하나의 머신에서 하나의 JVM에서 실행 중입니다. 가상 분산 모드에서는 모든 것이 자신의 JVM에서 실행되지만 하나의 시스템에서만 실행됩니다. 클라이언트 인터페이스 측면에서 어떤 차이도 있어서는 안되지만 의사 배포 모드에서 직렬화 요구 사항이 더 엄격하면 놀라지 않을 것입니다.
위의 이유는 가상 분산 모드에서 JVM간에 데이터를 전달하기 위해 모든 것이 직렬화되어야한다는 것입니다. 독립형 모드에서는 모든 것이 하나의 JVM에 있고, 공유 메모리가 있기 때문에 모든 것이 직렬화 될 수있는 것은 반드시 필요한 것은 아니지만 코드가 그 사실을 이용하도록 작성되었는지는 기억하지 못합니다. Hadoop의 일반적인 사용 사례
편집 : 오류가 표시되지 않는다면 MapReduce 작업이 코딩되는 방식에 문제가 있다고 생각합니다. 아마도 그는 감속기 사이의 공유 메모리 같은 것에 의존할까요? 그렇다면 독립 실행 형 모드에서는 작동하지만 의사 배포 모드 (또는 실제로는 분산 모드)에서는 작동하지 않습니다.
가짜 배포 모드에서 어떤 오류가 발생합니까? –
런타임 오류가 발생하지 않지만 일부 경우 행렬 곱셈의 해답이 올바르지 않습니다. – waqas