데이터 마이그레이션을위한 Hadoop

내가 만난 대부분의 경우는 데이터가 HDFS에서/밖으로 마이그레이션되는 곳이었습니다. 그리고 나는 Hadoop을 완전히 처음 접했습니다!데이터 마이그레이션을위한 Hadoop

하지만 내 요구 사항은 단일 JCR 호환 플랫 파일 저장소의 다양한 소스에서 큰 바이너리 파일을 이동하는 것입니다. 내 질문은

입니다. 1) Hadoop은 X에서 읽고 Y (비 HDFS 시스템) 시나리오에 쓰는 것이 좋습니다.

2) 다른 사용자 정의 프레임 워크 또는 스프링 배치와 같은 것이 동일한 목적을 제공합니까? IO 및 네트워크의 문제 일뿐입니다.

예 X와 Y가 여러 연결을 처리 할 수 있고 데이터를 병렬로 검색하고 저장하면 성능이 향상되는 경우 hadoop을 사용할 수 있습니다.

더 나은 요구를 충족시킬 수있는 sqoop이라는 프레임 워크가 있습니다.

2012-08-02 19:43:47

감사합니다. @Animesh. Squoop은 특별히 한 번 지원되는 데이터베이스에 적합한 선택입니다. 그러나 BLOBs를 위해 중대하지 않은! 그래도 좋은 리드! –

다른 트랙에 있지만 귀하의 웹 페이지에있는 주소로 이메일을 보내려고하지만 오류가 발생했습니다. 다른 이메일을 제공 할 때주의해야합니까? –

@Vishal 네, 저에게 메일을 보낼 수 있습니다 : [email protected] –

답변