Partition Too Large 오류를 일으키는 기본 키 카디널리티가 있습니까?

Question

저는 Python (DataStax) 드라이버와 CQL BatchStatements [1]를 통해 Cassandra 3.12에 삽입하고 있습니다. 작은 수의 파티션 (10-20)을 생성하는 기본 키를 사용하면 모든 것이 잘 작동하지만 데이터는 노드간에 균일하게 분배되지 않습니다.

예를 들어 시간 외에 시간이나 클라이언트 IP와 같이 상위 카디널리티 열을 포함하는 경우 행 수와 행 길이가 같더라도 일괄 처리 삽입으로 인해 너무 큰 파티션 오류가 발생합니다.

상위 카디널리티 키가 많을수록 작은 파티션이됩니다. 더 많은 파티션을 생성하는 키가이 오류를 어떻게 초래합니까? 내가 읽은 모든 것을 일괄 삽입은 하나의 파티션을 포함하는 배치로, 안티 패턴이 될 수 있다는 것을 알 수 있지만

---

[1], 난 아직이 사건에 대한 비동기 또는 현재의 삽입에 비해 가장 높은 처리량을 참조하십시오.

---

CREATE TABLE test ( date date, time time, cid text, loc text, src text, dst text, size bigint, s_bytes bigint, d_bytes bigint, time_ms bigint, log text, PRIMARY KEY ((date, loc, cid), src, time, log) ) WITH compression = { 'class' : 'LZ4Compressor' } AND compaction = {'compaction_window_size': '1', 'compaction_window_unit': 'DAYS', 'class': 'org.apache.cassandra.db.compaction.TimeWindowCompactionStrategy'};

Answer 1

난 당신이 Caused by: com.datastax.driver.core.exceptions.InvalidQueryException: Batch too large 오류를 의미하는 것 같아요?

이는 하나의 일괄 처리로 데이터의 기본 50KB입니다 매개 변수 batch_size_fail_threshold_in_kb의 - 그리고 cassandra.yml에 batch_size_warn_threshold_in_kb 통해 5KB 임계 값에 일찍에서 경고 (http://docs.datastax.com/en/archived/cassandra/3.x/cassandra/configuration/configCassandra_yaml.html 참조)도 있습니다.

데이터 모델을 공유 할 수 있습니까? 컬럼을 추가하는 것만으로 파티션 키가 바뀌지 않는다는 것을 의미합니다. 클러스터링 컬럼을 추가하여 기본 키를 변경했을 수도 있습니다. 힌트 : PRIMARY KEY (a,b,c,d)은 파티션 키로 a 만 사용하고 PRIMARY KEY ((a,b),c,d)은 파티션 키로 a,b을 사용합니다. 간과하기 쉬운 실수입니다.

그 외에도 추가 열에는 약간의 공간이 필요합니다. 이제 임계 값에 쉽게 도달 할 수 있으므로 배치 크기를 줄이면서 다시 한도에 맞 춥니 다. 일반적으로 위에서 언급 한 것처럼 하나의 파티션에 영향을주는 upserts 만 배치하는 것이 좋습니다. 또한 비동기 쿼리를 사용하고 다른 코디네이터에게 병렬 요청을 만들어 속도를 좀 더 높입니다.