데이터가 카프카 서버에 푸시 된 후 데이터를 삭제합니다.

Oracle 데이터베이스에서 데이터를 가져 오기 위해 합류 플랫폼 3.3을 사용하고 있습니다. 일단 데이터가 카프카 서버로 보내지면 검색된 데이터는 데이터베이스에서 삭제되어야합니다.데이터가 카프카 서버에 푸시 된 후 데이터를 삭제합니다.

어떤 방법이 있습니까? 제발 제안 해주세요.

2017-11-02 Raju

카프카에서는 기본 방법이 없습니다.

Kafka Connect를 사용하여 데이터베이스에서 데이터를 읽거나 작성한 사용자 지정 코드를 어떻게 읽습니까?

카프카가 일괄 전송 및 일괄 삭제를 정기적으로 확인하면 코드에서 삭제를 구현하는 것이 좋습니다.

또는 Kafka 주제를 실제 대상 시스템과 다른 소비자 그룹으로 읽는 작은 작업을 작성하고 주제에서 가져온 레코드를 기반으로 삭제할 수 있습니다. 몇 분, 몇 시간마다이 작업을 실행하면 전송 된 데이터를 계속 확인할 수 있습니다.

2017-11-02 09:37:51

나는 Kafka connect를 사용하고 있으며 삭제할 구성이 있는지 알 수 있습니다. 나는 많은 것을 찾았지만 해결책을 찾지 못했습니다. – Raju

jdbc 커넥터에는 레코드를 읽은 후 레코드를 삭제할 수있는 옵션이 없습니다. 관심이 있다면 PR로 구현하는 것이 너무 어렵지 않아야합니다. –

답변