카산드라 예외

Question

현재 프로젝트에서는 데이터를 자주 가져 오는 데 카산드라 DB를 사용하고 있습니다. 1 초마다 최소 30 Db 요청이 발생합니다. 각 요청마다 Db에서 가져 오는 데 필요한 최소 40000 개의 행이 있어야합니다. 다음은 현재 코드이며이 메소드는 해시 맵을 반환합니다.

public Map<String,String> loadObject(ArrayList<Integer> tradigAccountList){ 

     com.datastax.driver.core.Session session; 
     Map<String,String> orderListMap = new HashMap<>(); 
     List<ResultSetFuture> futures = new ArrayList<>(); 
     List<ListenableFuture<ResultSet>> Future; 

     try { 
      session =jdbcUtils.getCassandraSession(); 
      PreparedStatement statement = jdbcUtils.getCassandraPS(CassandraPS.LOAD_ORDER_LIST); 

      for (Integer tradingAccount:tradigAccountList){ 
       futures.add(session.executeAsync(statement.bind(tradingAccount).setFetchSize(3000))); 
      } 
      Future = Futures.inCompletionOrder(futures); 

      for (ListenableFuture<ResultSet> future : Future){ 
       for (Row row: future.get()){ 
        orderListMap.put(row.getString("cliordid"), row.getString("ordermsg")); 
       } 
      } 

     }catch (Exception e){ 
     }finally { 
     } 
     return orderListMap; 
    } 

내 데이터 요청 쿼리는 다음, "omsks_v1.ordersStringV1 tradacntid =? FROM cliordid, ordermsg 선택"같은 것입니다. 내 카산드라 클러스터가 32 동시 읽기 2 개 노드를 가지고 있으며,

CREATE TABLE omsks_v1.ordersstringv1_copy1 (
    tradacntid int, 
    cliordid text, 
    ordermsg text, 
    PRIMARY KEY (tradacntid, cliordid) 
) WITH bloom_filter_fp_chance = 0.01 
AND comment = '' 
AND dclocal_read_repair_chance = 0.1 
AND default_time_to_live = 0 
AND gc_grace_seconds = 864000 
AND max_index_interval = 2048 
AND memtable_flush_period_in_ms = 0 
AND min_index_interval = 128 
AND read_repair_chance = 0.0 
AND speculative_retry = '99.0PERCENTILE' 
AND caching = { 
    'keys' : 'ALL', 
    'rows_per_partition' : 'NONE' 
} 
AND compression = { 
    'sstable_compression' : 'LZ4Compressor' 
} 
AND compaction = { 
    'class' : 'SizeTieredCompactionStrategy' 
}; 

내 문제가 점점 카산드라 시간 제한 예외를 따를 때 각 스레드 내 DB 스키마를 작성하는 방법이 모든 요청을 처리하려면 코드를 최적화 할 수

Answer 1

해당 예외의 스 니펫을 첨부하는 것이 더 좋을 것입니다 (읽기/쓰기 예외). 나는 당신이 시간을 밖으로 읽고 있다고 가정합니다. 단일 요청으로 큰 데이터 세트를 가져 오려고합니다. 결과에 언급 된 제한 시간 내에 반환 할 수없는 경우 각 요청이 많은 기록을 가지고와 결과 집합이 너무 큰 경우 DB

에서 가져 오기 위해 필요한 최소한 40000 행의 경우

, 그것은 예외가 발생합니다 카산드라 .yaml.

read_request_timeout_in_ms

당신은 시간 제한을 증가시킬 수 있지만, 이것은 좋은 옵션이 아닙니다. 문제를 해결할 수 있습니다 (예외를 throw하지는 않지만 결과를 반환하는 데 더 많은 시간이 소요될 수 있음).

솔루션 : 큰 데이터 세트의 경우 수동 페이지 매김 (범위 쿼리)을 사용하여 결과를 얻을 수 있습니다.

SELECT cliordid, omsks_v1.ordersStringV1 tradacntid> = FROM ordermsg? 및 cliordid>? 한계?

또는 사용 범위 쿼리

SELECT cliordid, WHERE tradacntid = omsks_v1.ordersStringV1 FROM ordermsg? 및 cliordid> =? 및 cliordid < =?;

전체 결과 집합을 가져 오는 것보다 훨씬 빠릅니다.

가져 오기 크기를 줄여서 시도해 볼 수도 있습니다. 그것은 전체 결과를 반환하지만.

public Statement setFetchSize(int fetchSize) 예외가 발생했는지 확인하십시오.

의 setFetchSize 페이지의 크기를 제어하지만,는 ResultSet에서 반환 최대 행을 제어하지 않습니다.

또 다른 점은 주목해야합니다 :

tradigAccountList의 크기 무엇입니까?

한 번에 너무 많은 요청도 시간 초과로 이어질 수 있습니다. 큰 크기의 tradigAccountList와 많은 읽기 요청은 한 번에 완료됩니다 (요청의로드 밸런싱은 Cassandra에서 처리되며 처리 할 수있는 요청 수는 클러스터 크기 및 기타 요인에 따라 다름)이 예외가 발생할 수 있습니다.

일부 관련 링크 :

Cassandra read timeout

NoHostAvailableException With Cassandra & DataStax Java Driver If Large ResultSet

Cassandra .setFetchSize() on statement is not honoured