RDBMS에서 Cassandra로 마이그레이션

-2

5TB의 이미지 데이터를 RDBMS에서 cassandra로 마이그레이션해야합니다. 나는 sqoop을 시도했지만 너무 느리다. 누구든지 마이그레이션 도구를 제안 할 수 있습니까?RDBMS에서 Cassandra로 마이그레이션

감사

시스템 간의 대용량 데이터 이동에 대한

2016-12-24 Ali

주제를 추천하지 않습니다. 또한 불분명 함 당신이 묻고있는 것 (왜 너무 느린가?). – Raedwald

사용 스파크. 배포되고 복원력이 있습니다.

jdbcDF.write.format("org.apache.spark.sql.cassandra").\ 
      options(keyspace="ks", table="tablename").\ 
      save(mode="append")

당신은 오픈 소스 아파치 스파크 또는 DataStax 기업을 사용할 수 있습니다

val jdbcDF = sqlContext.load("jdbc", Map(
    "url" -> "jdbc:postgresql:dbserver", 
    "dbtable" -> "schema.tablename"))

. Datastax Enterprise는 Spark와 Cassandra 사이의 완벽한 분산 처리 및 데이터 지역성을 위해 각 노드에 설치된 Apache Cassandra + Apache Spark + 기타 많은 것들을 제공합니다. 저는 DataStax 직원입니다.

2016-12-24 23:40:21

답변