2
저는 hadoop을 처음 접했습니다.Hadoop 이름 노드와 저널 노드가 디스크 공간을 자동으로 사용합니다.
5 대의 서버에 Cloudera (일반 설치)를 사용하여 hbase 설정을 설치했습니다. 나는 약간의 테이블을 만들고 약간의 데이터를 채웠다.
이제 hdfs 폴더 크기를 모니터링했습니다. 데이터 노드가 일관된 독서를 제공하고 있음을 알 수 있습니다. 하지만 확인 할 때마다 내 namenode 및 저널 노드 디스크 사용량이 증가합니다.
데이터 량은 적지 만 저널 노드와 이름 노드는 30MB (약)/일 증가합니다.
구성에 뭔가가 누락 되었습니까?
이 파일들이'du-sh'에있는 폴더를 파고 그 공간을 차지하는 부분을 찾아야합니다. 로그, 이미지/편집 파일, 또는 모든 것들을 포함 할 수 있습니다. –
Donald와 동의하고, 매일 생성되는 로그의 크기를 확인하십시오. –
로그가 별도의 폴더로 이동합니다. 나는 활성 이름 노드 서버와 저널 노드가 공간을 합한 것을 볼 수 있습니다. 나는 약간의 연구를했고 이름 노드에 편집이있을 때마다 저널을 사용하고 보조 이름 노드가 저널에서 그것을 읽는다는 것을 알았습니다. 하지만 여기에 내 기지에서 어떤 작업을하고 있지 않습니다. –