다른 사람이 코딩 (링크) 한 hadoop 프로젝트가 있습니다. 나는 그 근원을 가지고있다. 나는 이것을 나의 클러스터 (기본적으로 3 개의 우분투 시스템)에 구현하려고한다. 그러나 언급 프로젝트는 EC2 플랫폼 (Cloudera 배포판)에서 작동합니다.내 시스템에서 Amazon EC2와 유사한 환경을 유지하는 방법은 무엇입니까?
그렇다면 시스템에이 프로젝트를 실행하기위한 소프트웨어를 설치하려면 무엇을 모두 설치해야합니까?
Oracle Java Cloudera 관리자에 대해 생각했습니다.
프로젝트가 cloudera 배포판 (EMR이 아닌)으로 작동하는 경우 cloudera를 설치할 수 있으며 정상적으로 작동합니다. s3이 파일 시스템으로 사용되는 경우에만 문제가 될 수 있습니다.
프로젝트가 실제로 s3에 대해 작동하는 경우 두 가지 방법이 있습니다.
a) s3을 hdfs 및 모든 파일 이름/경로로 바꾸고 하드 코딩 된 경우 잘 작동해야합니다.
b) S3 대신 오픈 소스 인 OpenStack의 Swift를 설치 한 다음 Hadoop을 실행 해보십시오. Disclosure : 저는 스위프트 (Swift)에서 실행중인 프로젝트에 참여하고 있습니다. https://github.com/Dazo-org/swift