-1
Oozie를 사용하여 사내 구축 형 Hadoop 클러스터에서 AWS S3으로 데이터를 전송하려면 어떻게해야합니까? (Oozie는 온 프레미스 Cloudera 클러스터에 설치됨)Oozie를 사용하여 사내 구축 형 hadoop 클러스터에서 AWS S3으로 데이터를 전송하려면 어떻게해야합니까? (Oozie가 사내 클 라우 더 클러스터에 설치됨)
A
답변
0
AWS는이를 위해 온 프레미스에서 AWS s3으로 데이터를 업로드 할 수있는 put 메소드를 제공합니다. 그런 다음 Oozie를 사용하여 일정을 계획하십시오. Oozie는 AWS로 데이터를 업로드 할 수있는 프로그램이 아니라는 것을 기억하십시오. 당신이 정말로 oozie를 사용하려면
0
, DistCP를 사용하여 설치 확인 : https://hadoop.apache.org/docs/stable/hadoop-aws/tools/hadoop-aws/index.html
hadoop distcp -Dhadoop.security.credential.provider.path=jceks://hdfs/aws/aws.jceks /test s3a://kartik-test/
와 하둡에서 데이터를 이동하는 표준 Apache NiFi
아파치 NiFi는 강력하고 확장 성이 지원입니다 데이터 라우팅, 변환 및 시스템 중재 논리의 직접 그래프. 아파치 NiFi의 높은 수준의 기능과 목표의 일부는 다음과 같습니다
- 웹 기반 사용자 인터페이스
설계, 제어, 피드백 및 모니터링 사이-Seamless 경험
- 높게 구성
높은 처리량 을 대-Loss 보장 배달 대 허용
- 낮은 지연 시간 6,
- 동적 우선 순위
-Flow는
가 뒤에있다 압력
-Data 출처
처음부터- 트랙 흐름은 연장
위한-Designed을
최종 런타임에 변경 될 수있다-Build your own processors and more
신속한 개발과 효과적인 테스트
시큐어
-SSL, SSH, HTTPS, 암호화 된 콘텐츠, 등 ...
- 멀티 테넌트 인증 및 내부 인증/정책 관리를 구현시켜
Oozie는 데이터를 전송하는 응용 프로그램이 아니라 워크 플로 스케줄러입니다. – tk421
@ tk421 그럼요? 사본을 예약 할 수 있습니다. –
게시 할 때 질문에 대한 조사를 보여주십시오. https://www.cloudera.com/documentation/enterprise/5-8-x/topics/cdh_admin_distcp_data_cluster_migrate.html#distcp_and_s3 –