하이브에서 mysql @ AWS로 데이터를 가져 오는 중입니까?

Question

Sqoop을 사용하고 싶지만 ElasticMapReduce (가장 좋아하는) 이상의 Cloudera 스택 @ AWS를 실행할 가치가 있다고 생각하지 마십시오.

나의 현재의 생각은 @ S3에 저장된 외부 테이블로 옮겨야하는 데이터를 작성한 다음 mysql으로 가져 오기위한 스크립트를 작성하는 것이다. 아마존은 SimpleDB (example)를 가지고 약간의 물건을 가지고있다. 그러나 나는 그 길에 대해서도 확신하지 못한다. S3에 살고있는 데이터로, 누가 더 좋은 아이디어가 있는지 궁금해 할 것.

감사합니다. 내가 사용하고 잘 작동

Answer 1

가장 쉬운 솔루션 :

당신이 S3 버킷에 데이터를 넣을 것을 제안하는 것처럼

1. . S3에서 호스팅되는 표를 생성 할 수 있으며 예를 들어 탭으로 구분 된 형식. 마지막 단계에서 하나의 감속기를 사용하면 하나의 파일로 끝납니다.
2. 는 MySQL 서버에 데이터를 다운로드, 내 마음에 드는 도구 ... LOAD 데이터 INFILE을 사용하여 직선의 MySQL로 데이터를 가져 오기 s3cmd
3. 것