MapReduce 작업을 작성하여 Oracle 및 MySql의 데이터를 읽을 수 있습니까?

Question

Oracle 및 Mysql에서 데이터를 읽으 려합니다. 그렇다면 오라클과 MySQL에서 읽은 데이터를 비교해야하며 출력은 MSSQL 서버에 저장됩니다. 나는 C#에서 MapReduce 작업을 사용하여이 모든 작업을 수행하려고한다.

Hadoop 다중 노드 클러스터를 구성하고 MapReduce 작업을 실행하여 Oracle 및 MySQL에서 데이터를 읽으면 MapReduce가 읽는 데이터가 클러스터의 여러 노드의 메모리를 통해 분산됩니다.

Answer 1

너는 너가 말한 모두를하기 위하여 MR을 사용할 수 있거나 너는 몇몇 inbuilt 공구를 사용할 수 있는다.

1. DB에서 데이터를 읽고 HDFS로 덤프하려면 Sqoop을 사용하십시오.
2. MR을 사용하여 HDFS에서 데이터를 읽고 비즈니스 논리를 수행하십시오.
3. MR의 출력은 HDFS에 저장되고 DB에 푸시 된 SQoop을 사용하여 다시 저장됩니다.

Sqoop은 데이터를 데이터베이스로 가져 오거나 푸시하기위한 MapReduce의 래퍼입니다. 동일한 작업을 수행하기 위해 언제든지 사용자 지정 MapReduce를 작성할 수 있습니다.