어떻게 hdfs에서 s3으로 암호화 된 distcp를 실행합니까?

Question

우리의 hadoop 클러스터 (온 프레미스)에서 s3으로 데이터를 복사하고 싶습니다. 나는 그것을 암호화되지 않은 방식으로 할 수있다. 또한 s3cmd를 클라이언트 측 암호화와 함께 실행할 수도 있습니다. 클라이언트 측 암호화로 distcp를 수행하려면 어떻게해야합니까?

Answer 1

최근 Hadoop 버전은 클라이언트 측 암호화를 사용하여 전송을 수행해야합니다.

설정의 세부 사항에 안전하고 피해가 없도록하려면 보안되지 않은 전송을 금지하여 아래 명시된 버킷 정책을 적용하여 안전한 전송을 보장하기 만하면됩니다.

{ 
    "Statement":[ 
     { 
      "Action": "s3:*", 
      "Effect":"Deny", 
      "Principal": "*", 
      "Resource":"arn:aws:s3:::bucketname/*", 
      "Condition":{ 
       "Bool": 
       { "aws:SecureTransport": false } 
      } 
     } 
    ] 
}