distcp를 사용하여 HDFS에서 amazon S3로 안전하게 데이터 전송

Cloudera Hadoop 클러스터의 HDFS 데이터를 Amazon S3에 백업하려고합니다. 우리가 distcp를 사용할 수있는 것처럼 보이지만 명확하지 않은 것은 암호화 된 전송을 통해 S3에 데이터가 복사되는지 여부입니다.distcp를 사용하여 HDFS에서 amazon S3로 안전하게 데이터 전송

이 기능을 사용하려면 구성해야 할 것이 있습니까?

출처

2015-02-06 Marco Di Cesare

http://www.cloudera.com/content/cloudera/en/documentation/core/latest/topics/cdh_admin_distcp_data_cluster_migrate.html –

감사합니다. 해당 페이지를 읽었지만 Hadoop과 S3간에 데이터가 전송되는 동안 distcp가 SSL/TLS를 사용하는지 여부를 나타내는 것 같지 않습니다. –

S3 클라이언트 측 암호화가 Hadoop에서 아직 제공되지 않는다고 생각합니다.

Hadoop 2.5.0에서 S3 server side encryption (S3 끝에서 데이터를 암호화 함)을 구성 할 수 있습니다.

는 core-site.xml에 다음과 같은 속성을 추가 사용하려면 다음 S3 서버 측 암호화 Hadoop-10568에 대한

<property> 
    <name>fs.s3n.server-side-encryption-algorithm</name> 
    <value> AES256 </value> 
    <description> 
    Specify a server-side encryption algorithm for S3. 
    The default is NULL, and the only other currently allowable value is AES256. 
    </description> 
</property>

더 많은 정보를.

출처

2015-02-07 05:39:51 Ashrith

답장을 보내 주셔서 감사합니다. 제가 찾고있는 것은 전송 중에 데이터가 암호화되어 있는지 확인하는 방법입니다. 다른 말로하면 distcp는 Amazon S3로 SSL/TLS를 통해 데이터를 전송합니다. –

전송에서의 암호화는 기본적으로 작동합니다. 필자는 securetransport = false 일 때 putobject를 막을 수있는 정책을 내 버켓에 배치하여 테스트했습니다. distcp 명령은 securetransport가 활성화되지 않은 경우 403 오류로 인해 실패했을 수 있으므로이 동작을한다고 생각합니다. – nachonachoman

distcp를 사용하여 HDFS에서 amazon S3로 안전하게 데이터 전송

답변

관련 문제