App Engine에 적용 가능한 배분 (및 백분위 수) 계산 분주금을 계산 하시겠습니까?

Question

이것은 Google App Engine에 적용 할 수 있지만 반드시 제한 할 필요는 없습니다.

Google App Engine에서 데이터베이스는 관계형이 아니므로 집계 함수 (합계, 평균 등)를 구현할 수 없습니다. 각 행은 서로 독립적입니다. 합계와 평균을 계산하기 위해 앱은 데이터베이스에 대한 개별적인 개별 쓰기마다 다시 계산하여 계산을 상환해야합니다. 따라서 항상 최신 상태로 유지해야합니다.

백분위 수 및 도수 분포 (밀도)를 계산하는 방법은 무엇입니까? 나는 값의 필드의 밀도에 대한 그래프를 만들고 싶습니다.이 값의 집합은 아마도 수백만에 달합니다. 전체 데이터 세트 (각 쿼리에 대한 제한이 반환되는 1000 개의 행이 반환 됨)를 반복 할 수 있으며,이를 기반으로 계산하지만 차라리 몇 가지 현명한 방법을 사용하는 것이 좋습니다.

일정 기간 동안 계산할 수있는 밀도/빈도/백분위 수 분포를 계산하거나 근사화하는 알고리즘이 있습니까?

그런데 데이터의 최대 값과 최소값이 모든 곳에서있을 수 있다는 점에서 불확실합니다. 따라서 배포본은 데이터의 약 95 %를 차지해야하며이를 기반으로 한 밀도 만 수행해야합니다.

Answer 1

그것은 전체 데이터 세트를 통해 루프 실현 될 수있다, 그 기반으로 계산해 (각 쿼리에 대한 제한은 1000 개 행이 반환됩니다), 그러나 나는 오히려 일부 스마트 접근을 할 것입니다.

이것은 내가하는 가장 확실한 접근 방법입니다. 왜 이것을 피하려고합니까?

Answer 2

한 줄에 하나의 숫자를 얻기 위해 전체 행 (한 번에 1000 개까지 제한)을 반복해서 가져 오는 것은 별 의미가 없습니다. 따라서 숫자 목록을 보유하고있는 별도의 엔터티에 단일 번호를 기록하여 데이터를 비정규 화합니다 (한 쿼리 당 1MB로 제한되므로 4 바이트 숫자는 목록 당 250,000 개 이하의 숫자로 제한됩니다).

숫자를 추가 할 때 최신 "추가 된 데이터 값 목록"엔티티를 가져오고, 전체를 새로 작성한 경우 새 숫자를 추가하여 저장하십시오. 아마도 통계에있는 작은 오류가 살인자가 아니라면 거래가 필요하지 않을 것입니다.

항목의 데이터를 변경할 수있는 경우 "삭제 된"데이터 값을 기록하는 동일한 종류의 별도 엔티티가있을 수 있습니다. 한 항목의 값을 23에서 45로 변경하려면 23을 최신 "삭제 된 값"목록에 추가하고 45를 최신 "추가 된 값"1에 추가하십시오. 이는 항목 삭제도 포함합니다.