별개의 문제입니까?

Question

내 Crate.io 데이터베이스에는 현재 50mio 행과 16GB 크기의 테이블이 있습니다. 나는 다음과 같은 문으로 하루 항목의 양을 좀하려고하면 모두 (성능을 제외하고,하지만이 순간에 문제가되지 않습니다) 잘 작동 : 내가 만들려고하면

SELECT 
date_format('%Y-%m-%d', date_trunc('day', "days")) AS "Day", 
count(*) AS "Count" 
FROM "doc"."mytable" 
WHERE 
    date_format('%Y-%m-%d', date_trunc('day', "days")) BETWEEN date_format('%Y-%m-%d', date_trunc('day', current_timestamp + -2592000000)) 
    AND date_format('%Y-%m-%d', date_trunc('day', current_timestamp + -86400000)) 
GROUP BY date_format('%Y-%m-%d', date_trunc('day', "days")) 
ORDER BY date_format('%Y-%m-%d', date_trunc('day', "days")) ASC limit 100; 

그러나 이런 다른 열에서의 구별을 :

SELECT 
date_format('%Y-%m-%d', date_trunc('day', "days")) AS "Day", 
count(DISTINCT customerid) AS "Count" 
FROM "doc"."mytable" 
WHERE 
    date_format('%Y-%m-%d', date_trunc('day', "days")) BETWEEN date_format('%Y-%m-%d', date_trunc('day', current_timestamp + -2592000000)) 
    AND date_format('%Y-%m-%d', date_trunc('day', current_timestamp + -86400000)) 
GROUP BY date_format('%Y-%m-%d', date_trunc('day', "days")) 
ORDER BY date_format('%Y-%m-%d', date_trunc('day', "days")) ASC limit 100; 

는 문

SQLActionException [실패한다 CircuitBreakingException : 0] 것보다 큰 제 : 수집 용 [질의] 데이터 너무 큰 데이터 [1267571097/1.1gb] 한도

왜 COUNT (DISTINCT col)에 데이터가 너무 많은데 COUNT (*)에 문제가 있는지 아이디어가 있습니까? 어떻게이 문제를 해결할 수 있습니까?

Answer 1

각 행에 대해 하나씩 숫자 (long)가 필요하기 때문에 카운트는 매우 가볍습니다. 별개 카운트의 경우, 값이 이미 존재하는지 (증분 없음) 또는 새로운 값 (증분 카운터)인지를 결정할 수 있도록 모든 값을 메모리에 저장해야합니다.

CircuitBreakingException (btw. 걸린 노드에서 나를 저장합니다. 그렇지 않으면 OutOfMemory가 발생하고 노드를 사용할 수 없게됩니다)를 해결하려면 크레이트 프로세스의 HEAP를 늘리십시오. HEAP 크기 설정 방법은 사용되는 배포판에 따라 다르며 일반적으로 CRATE_HEAP_SIZE 환경 변수를 사용할 수 있습니다.

HEAP를 높이면 쿼리를 통해 첫 번째 그룹의 성능을 향상시킬 수도 있습니다. 좋은 규칙은 사용 가능한 메모리의 50 %를 제공하는 것이므로 다른 50 %는 OS 파일 시스템 캐시에서 사용할 수 있습니다.