카산드라와 집계 된 데이터

Question

우리가 OLTP 데이터 (판매) 유지하는 "기존의"SQL Server 기반 응용 프로그램 :

• OLTP 데이터 구조는 우리가 소스로 유지해야 여전히
• 매우 복잡를 OLTP 구조를 통해
• 보고서
• 그래서 우리가 준비하고 실제 "OLAP"-views, 말, 하루 매출을 유지하는 매우 느린보고, 각 뷰는 실제로 MS SQL 데이터베이스의 테이블

주요 문제 : 새로운보기가 필요할 때 기존 OLTP 데이터를 모두 스캔하는 데 많은 시간이 걸립니다. 그들이 일을 같이 할 수있는,

• 우리에게 스파크/기린과 같은보다 효율적으로 사용하는 도구가 될 수 있습니다 :

  이제 우리는 우리가 같은 목표를 achive하거나 같은 방법을 사용한다, 카산드라로 마이그레이션 할?

• 어떻게 든 접근 방식을 바꿀 수 있습니까?

Answer 1

찾고 싶은 답변이 아닐 수도 있습니다. 그러나 저는 캐산드라와 데이터를 통합하여 경험을 공유하고자합니다. 우리 프로젝트에서 전 세계의 서버로부터 데이터를 수집하고 이에 따라 집계를 수행해야합니다. 메트릭 중 일부는 서버 당, 지리적 영역 당 시간당 메시지입니다. 따라서 새로운 데이터가 들어 오면 자동으로 배치 프로세스를 시작하여 집계를 수행하거나 데이터를 여러 테이블/뷰에 삽입합니다. 또한 처리 엔진으로 apache-spark을 사용하고 있으며 특정 사용 사례에 따라 materialized view, secondary index, custom trigger과 같은 cassandra의 개념을 사용합니다. 데이터 모델을 설계 할 때 중요한 점 중 하나는 NF를 잊어 버리는 것입니다. 기본적으로 NoSQL에서는이를 일반적으로 필요로하지 않습니다.

요약하면 전통적인 데이터베이스에서 NoSQL 데이터베이스로 마이그레이션하는 것이 처음에는 번거로울 수 있습니다. 그러나 결과는 성능과 가용성 측면에서 상당히 만족 스럽습니다.