그래픽에 밉맵과 유사한 데이터 저장 패턴이 있습니까?

Question

우리는 사용자가 창을보고 너무 빨리 할 수있는 많은 데이터를 가지고 있습니다. 하루, 한 주, 한 달 또는 임의의 시작 및 종료 데이터 인 데이터의 창을보고 싶어 할 수 있습니다. 실시간으로이 모든 것들을 정렬하고 합산하는 것은 우리에게는 고통 스럽습니다. 따라서 3D 렌더링에서 Mipmaps와 유사한 작업을 수행 할 생각이 들었습니다. 다양한 데이터 스케일로 사전 계산 된 동일한 데이터를 저장 한 다음 다양한 스케일을 사용하여 결과를 보간합니다. 그래서 나는 이미 그 숫자가 1 년, 주어진 달, 주어진 주, 그리고 상점을위한 주어진 날 이었는지를 알고 있었을 것입니다. 그리고 그들이 특정 범위를 물으면, 나는 다양한 스케일을 사용하여 신속하게 권리를주는 것을 더합니다 결과는 표시되지만 전체 데이터 세트를 반드시 재 처리 할 필요는 없습니다. 단지 4 개 또는 5 개의 레코드를 검색하고이를 더하거나 뺍니다.

실제 패턴입니까? 그것은 어떤 의미를 가지며 최선을 다하는 방법에 대해 읽을 수있는 곳이 있는가 아니면 다양한 슬라이스로 볼 필요가있는 이와 같은 많은 양의 데이터를 처리하는 훨씬 더 좋은 방법이 있습니까?

잘 알려진 해결 된 문제 인 것처럼 보입니다. 예를 들어, 많은 사람들이 주식 포트폴리오를 가지고 있으며 매일 이런 종류의 일을해야합니다. 우리의 데이터는 주가가 아니지만 아이디어는 같습니다.

Answer 1

좋아, 내가 검색하고 검색하고 좀 더 검색합니다. 앤디 덴트 (Andy Dent)의 링크를 통해 데이터를 "시계열 (time-series)"로 설명하기 시작했으며 일부는 도움이되었습니다. 그 다음 나는 OLAP를 가로 질러 갔고, 내가하고있는 일이 그것을 재발 명한다는 것을 깨달았다. 나는 이것이 잘 알려지고 철저히 다루어 져야한다는 것을 알았고 나는 옳았다. OLAP입니다.

특정 차원 (이 경우 시간)에 따라 데이터를 집계하는 집계 테이블을 만들고, 다른 쿼리 언어로 작성된 쿼리 (예 : SQL)를 사용하는 Mondrian과 같은 도구와 팩트 테이블과 집계를 비교하여 해당 테이블에 대해 쿼리를 가장 효과적으로 수행하는 방법을 결정합니다.

Answer 2

어떤면에서 밉 매핑이 어떻게 작동하는지 (내삽/외삽 법으로) 설명 할 때 자신의 질문에 답을 얻은 것 같습니다.

"확대/축소"의 각기 다른 레벨에서 데이터의 낮은 해상도 또는 샘플 속도를 선택하기 만하면됩니다. 데이터 포인트 사이의 값을 추정하기 위해 데이터에 보간법 (선형/다항식/스플라인/등)을 사용해야하는 시점까지 더 높은 수준의 "확대/축소"수준에서 반대가 적용됩니다.

Answer 3

저는 밉 매핑에 대한 비유가 마음에 들며 특히 Observations and Measurements 필드가 생각납니다. 특히 샘플링 방식은 아마도 여러분이 추상적 인 데이터 디자인을 찾을 수있는 곳 일 것입니다. 관계형 테이블보다 XML 데이터 모델 측면에서 더 많이 생각할지라도 데이터 뒤에있는 이론을 제공합니다.

나는 CSIRO의 사람들과 함께이 작업을 했었고 많은 생각은 물 샘플링 센서와 같은 것들을 위해 거대한 데이터 세트를 관리해야했기 때문에 발생했습니다. SEEGrid wiki에서 자세한 내용입니다.