데이터 캐싱 기술/팁/AppFabric

Question

우리는 SQL 테이블에 수백만 개의 레코드를 보유하고 있으며 보고서를 생성하기 위해 해당 데이터에서 실제로 복잡한 분석을 실행합니다.

테이블이 커지고 추가 레코드가 추가됨에 따라 계산 시간이 늘어나고 사용자는 웹 페이지가로드되기 전에 오랜 시간 동안 기다려야합니다.

우리는 AppFabric과 같은 분산 캐시를 사용하여 응용 프로그램이로드 될 때 메모리의 데이터를로드 한 다음 메모리의 해당 데이터에서 보고서를 실행하려고 생각했습니다. 이것은 데이터가 메모리 대 디스크에 있기 때문에 약간의 응답 시간을 개선해야합니다.

우리가 강론을하고이를 구현하기 전에 다른 사람들이하고있는 일을 확인하고 메모리에 캐싱 등의 데이터를로드하는 가장 좋은 기법과 기법이 무엇인지 알아보기를 원했습니다. 메모리에 수백만 개의 레코드가있는 전체 테이블 ... ??

OLAP/데이터웨어 하우징에 대해서도 조사하고 있었기 때문에 캐싱보다는 성능이 향상되었습니다.

Answer 1

우리는 SQL 테이블의 레코드 만 수백만을 가지고

나쁜 정책. 플랫 파일이 더 좋습니다.

그리고 실제로 복잡한 분석을 실행하여 보고서를 생성합니다.

경우에 따라 관련 하위 집합을 SQL에로드하는 것이 더 행복 할 수도 있습니다. 테이블이 증가하고 추가 레코드가 추가됨에 따라

, 계산 시간이 너무 많은 데이터베이스를 사용하는 결과를의

증가하고있다. 적은 비용으로 사용하십시오.

우리는 AppFabric 같은 분산 캐시를 사용하는 생각을했다 ... 아마도

. 그러나 플랫 파일은 RDBMS보다 빠르고 확장 성이 뛰어납니다.

또한 OLAP/데이터웨어 하우징

좋은 계획으로보고 있었다. 즉시 Kimball의 책을 사세요. 더 많은 기술이 필요하지 않습니다. 플랫 파일을 기본 파일로 사용하고 SQL을 임시 쿼리 (하위 집합에 대한)로 사용하는 것이 사용자에게만 필요합니다.

Answer 2

복잡한보고에 대한 해결책은 미리 계산하는 것이므로 OLAP을보고 있다면 올바른 길을 가고 있습니다.

Answer 3

데이터베이스 파티셔닝을 고려 했습니까? 우리는 가장 큰 데이터베이스를 위해이 작업을 수행합니다.

그렇기 때문에 앱 패브릭 캐시를 올바르게 사용하면 IO가 많은 대부분의 애플리케이션의 성능이 크게 향상됩니다.