-1
kafka의 Apache 로그를 읽은 다음 Spark Streaming으로 계속 처리하고 싶습니다. kafka를 처음 사용합니다. 내가 아는 한 프로듀서 클래스를 작성하여 로그 파일을 읽어야한다.kafka의 파일에서 로그를 읽는 방법?
A
답변
1
로그 파일의 각 줄을 Kafka 항목으로 연결하는 커넥터를 만들면됩니다.
https://docs.confluent.io/current/connect/devguide.html#connect-developing-simple-connector
을 한 후 나는 스파크 스트리밍에서 이러한 로그를 보낼 소비자의 파일을 작성할 수 있습니다 : 여기에 예를 확인하세요. –