저장소로 EMRFS (s3 버켓)를 사용하여 EMR 5.3.0을 만듭니다.

Question

EMRFS (S3 버킷)를 저장소로 사용하여 EMR 5.3.0을 만들려고합니다. 이에 대한 일반적인 안내를 제공해주십시오. 현재 내가 InstanceType = m4.2xlarge.Which와 EMR 5.3.0를 만들기위한 명령 아래 사용하고

는 잘 작동하지만, 스토리지와 같은 EMRFS와 내가 할 수 아니에요

aws emr create-cluster --name "DEMAPAUR001" --release-label emr-5.3.0 --service-role EMR_DefaultRole_Private --enable-debug --log-uri 's3n://xyz/trn' --ec2-attributes SubnetId=subnet-545e8823, KeyName=XXX --applications Name=Hbase Name=Hive Name=Pig Name=Ganglia --configurations '[{"Classification":"hdfs-site","Properties": {"dfs.replication":"2"},"Configurations":[]}]' --instance-groups
'InstanceGroupType=MASTER,InstanceCount=1,InstanceType=m4.2xlarge, EbsConfiguration={EbsOptimized=true, EbsBlockDeviceConfigs=[{VolumeSpecification= {VolumeType=io1,SizeInGB=500,Iops=200},VolumesPerInstance=1}]}' 'InstanceGroupType=CORE, InstanceCount=1,InstanceType=m4.2xlarge,EbsConfiguration={EbsOptimized=true, EbsBlockDeviceConfigs=[{VolumeSpecification={VolumeType=io1,SizeInGB=500,Iops=200},VolumesPerInstance=1}]}' --tags Name=DEMAPAUR001 Owner="XXX" Division=Corporate Application=DEM-EMR Environment=TRN CostCenter=XXX123 CreatedBy=XXX ManagedBy=XXX Availability=24x7_Mon-Fri Backup=NA

친절하게 도와주세요.

Answer 1

클러스터를 시작하는 동안 구성에서 다음과 같은 분류를 사용할 수 있습니다. 일관된 뷰를 가능하게하는

{ "분류": "emrfs 현장", "속성": { "fs.s3.consistent": "true"로 } }

또한 실제로 하이브가 S3를 가리키고 거기에 모든 새 파일을 저장하려는 경우 hive-site.xml에이 분류를 추가해야합니다.

{ "분류": "hive- 사이트 " "속성 ": { "hive.metastore.warehouse.dir "self.hive_warehouse_dir } }