파이썬을 사용하거나 inbuilt 메서드를 사용하여 kafka 항목에서 특정 줄 수를 삭제하는 방법은 무엇입니까?

Question

consumer.poll() 메서드를 사용하는 동안 문제가 발생합니다. poll() 메서드를 사용하여 데이터를 가져온 다음에는 소비자가 커밋 할 데이터가 없으므로 카프카 항목에서 특정 줄 수를 제거하는 데 도움이됩니다.

Answer 1

소비자가 실패 할 경우를 대비하여 "데이터 손실"을 피하기 위해 커밋하기 전에 데이터가 완전히 처리되었는지 확인해야합니다. 당신이 auto.commit을 사용하는 경우 각 poll() 암시 이전 poll()에서 모든 데이터를 커밋 때문에 다음 poll()을 실행하기 전에

따라서, 완전히 poll() 후 모든 데이터를 처리 있는지 확인합니다.

허용되지 않는 경우 consumer.commit(...)을 통해 데이터를 완전히 처리 한 후에 auto.commit을 사용 중지하고 수동으로 커밋해야합니다. 이를 위해서는 각 메시지를 개별적으로 커밋 할 필요가 없으며 오프셋이 X 인 커밋은 모든 메시지를 암시 적으로 < X 오프셋을 사용하여 커밋합니다 (예 : 오프셋 5 메시지를 처리 ​​한 후 커밋 된 오프셋 마지막으로 성공적으로 처리 된 메시지는 아니지만 처리 할 다음 메시지). 그리고 6 번 오프셋 커밋은 0부터 5까지의 오프셋으로 모든 메시지를 커밋합니다. 따라서 더 작은 오프셋을 가진 모든 메시지가 완전히 처리되기 전에 오프셋 6을 실행해서는 안됩니다.