AWS EMR 클러스터의 디스크 공간 문제

AWS에서 11 노드 (1 마스터 + 10 코어) EMR 클러스터를 프로비저닝했습니다. 각 노드의 디스크 공간을 100GB로 선택했습니다.AWS EMR 클러스터의 디스크 공간 문제

클러스터가 프로비저닝되면 EMR은 자동으로 루트 파티션 (/ dev/xvda1)에 10GB 만 할당합니다. 루트 파티션의 디스크 공간이 꽉 차서 며칠이 지나면 작업을 수행 할 수 없거나 yum 명령을 사용하여 git과 같은 기본 소프트웨어를 설치할 수 없습니다.

[[email protected]<<ip address>> ~]$ df -BG 
Filesystem  1G-blocks Used Available Use% Mounted on 
devtmpfs    79G 1G  79G 1% /dev 
tmpfs    79G 0G  79G 0% /dev/shm 
/dev/xvda1   10G 10G  0G 100%/
/dev/xvdb1   5G 1G  5G 4% /emr 
/dev/xvdb2   95G 12G  84G 12% /mnt 
/dev/xvdf   99G 12G  83G 12% /data

이 문제를 해결하는 방법을 알려주세요.

루트 파티션 (/ dev/xvda1) 디스크 공간을 30GB로 늘리는 방법은 무엇입니까?
기본적으로 yum 또는 rpm을 사용하는 모든 설치는 루트 파티션 (/ dev/xvda1)으로 이동합니다. 루트 파티션 (/ dev/xvda1)에 바이 패스 소프트웨어를 설치하는 방법은 무엇입니까?
솔루션이 무엇이든지간에 기존 EMR 설치를 방해해서는 안됩니다.

도움을 많이 주시면 감사하겠습니다.

출처

2017-05-20 Pari Margu

구성에 대한 자세한 내용을 제공해 주시겠습니까? 코어 노드에 어떤 인스턴스 유형을 사용하고 있습니까? 코어 노드에 추가 EBS 공간을 추가 했습니까? –

코어 노드의 인스턴스 유형은 m4.10xlarge입니다 (80 vCPU, 160GiB 메모리, EBS 전용 저장소 EBS 저장소 : 100 GiB). EBS 공간을 추가하지 않았습니다. –

모든 EMR AMI는 10GB의 고정 루트 볼륨과 함께 제공되므로 EMR 클러스터의 모든 ec2 인스턴스가됩니다. EMR에서 선택한 모든 응용 프로그램은이 루트 볼륨에 설치되며이 디스크의 약 90 %를 차지할 것으로 예상됩니다. 현재이 볼륨 크기 증가 또는 응용 프로그램 설치 동작을 변경할 수 없습니다. 따라서이 루트 볼륨을 사용하여 응용 프로그램을 설치하지 말고/mnt /와 같은 더 큰 볼륨에 사용자 정의 응용 프로그램을 설치하십시오. 일부 루트 디렉토리를 더 큰 볼륨으로 심볼릭 링크 한 다음 앱을 설치할 수도 있습니다.

출처

2017-05-22 18:21:41

자세한 정보를 제공해 주셔서 감사합니다. 몇 가지 명확한 설명이 있습니다. 1. "yum"명령을 사용하면서 루트 파티션에 소프트웨어 설치를 우회하는 방법은 무엇입니까? 2. 더 큰 볼륨에 대한 일부 루트 디렉토리에 심볼릭 링크를 만드는 방법은 무엇입니까? 도움을 많이 주시면 감사하겠습니다. –

/var/aws/emr/packages과 같이 보입니다 (30 %). Idk이 폴더가 rm -rf /var/aws/emr/packages 일 수 있거나 /mnt으로 심볼릭 링크되어야하지만 제거하면 저에게 효과적이었습니다.

출처

2017-07-13 18:39:51 Nathan

AWS EMR 클러스터의 디스크 공간 문제

답변

관련 문제