Hadoop JvmPauseMonitor

Question

Cloudera Hadoop 및 HDFS에서 최근에 우리가 NameNode 서비스를 시작할 수없는 시나리오가 등장했습니다.

HDFS 서비스를 다시 시작하려고 시도 할 때 우리 클러스터에서 NameNode 서비스를 성공적으로 다시 시작할 수 없습니다. 로그의 검토했지만 ...

org.apache.hadoop.util.JvmPauseMonitor을 오류를 관찰하지 않았지만 JvmPauseMonitor에 관한 몇 가지 항목을 볼 않았다 감지 일시 정지를 JVM 또는 호스트 시스템 (예를 들어, GC에) : 약 5015ms

우리는 /var/log/hadoop-hdfs/NAMENODE.log.out에서 이러한 항목을 관찰하고 /var/log/messages을 포함한 다른 오류가보고되지 않은의 일시 정지.

Answer 1

우리가 기록되지 않은 자바 OOM 예외로 실행중인 것을 확인할 수 있었다, 자바 힙이 궁극적으로

의 크기를 확인합니다.

성능 측면에서 HDFS의 1 백만 블록마다 일반적으로 1GB의 Java 힙 크기를 구성해야합니다.

우리의 경우, NameNode 및 Secondary NameNode Services에 대한 Java 힙 크기를 늘리고 다시 시작하는 것처럼 간단하게 해결되었습니다 ... 우리가 1.5 백만 블록으로 증가했지만 java에 대한 기본 1GB 설정 만 사용하고 있었기 때문에 힙 크기.

Java 힙 크기를 2GB 이상으로 늘리고 HDFS 서비스를 다시 시작한 후에 우리는 전반적으로 녹색이었습니다.

건배!