온 - 프레미엄 HDFS 설치에 많은 데이터가 있습니다. Google Cloud (Cloud Storage)로 일부 이동하려고하지만 몇 가지 문제가 있습니다.데이터를 온 프레미스 HDFS에서 Google Cloud Storage로 안전하게 전송하려면 어떻게해야하나요?
클라우드 스토리지 내 HDFS 저장소에서 데이터를 안전하게 이동하는 가장 좋은 방법은 무엇에 그것을 이동에 대한 걱정?
데이터를 사내 구축 형 Hadoop 클러스터에서 Google Cloud Storage로 이동하려면 Google Cloud Storage connector for Hadoop을 사용해야합니다. install directions을 따라 임의의 클러스터에 커넥터를 설치할 수 있습니다. 참고로 Google Cloud Dataproc 클러스터에는 커넥터가 기본적으로 설치되어 있습니다.
커넥터가 설치되면 DistCp을 사용하여 HDFS에서 Cloud Storage로 데이터를 이동할 수 있습니다. 이렇게하면 Google Cloud와 특별한 상호 링크 설정이없는 한 (공개) 인터넷을 통해 데이터가 전송됩니다. 이를 위해 squid proxy을 사용하고 Cloud Storage 커넥터 to use it을 구성 할 수 있습니다.