[SparkStreaming] 카프카 ConsumerRecord가 직렬화되지 않습니다

Question

내 설정은

val kafkaParams = Map[String, Object](
    "bootstrap.servers" -> "xxxxx", 
    "key.deserializer" -> classOf[StringDeserializer], 
    "value.deserializer" -> classOf[StringDeserializer], 
    "group.id" -> "xxx", 
    "fetch.message.max.bytes" -> "20971520", 
    "max.partition.fetch.bytes" -> "20971520", 
    "auto.offset.reset" -> "latest", 
    "enable.auto.commit" -> (false: java.lang.Boolean) 
) 

입니다하지만이 불꽃 스트리밍을 실행할 때, 는이 오류를

[JobGenerator] 오류 org.apache.spark.streaming를 얻을. kafka010.KafkaRDD [70] - Kafka ConsumerRecord는 직렬화 할 수 없습니다. .persist 또는 .window를 호출하기 전에 .map을 사용하여 필드를 추출하십시오.

이 문제를 해결하는 방법은 무엇입니까?

Answer 1

나는 메시지 유형에 문제가 있다고 생각합니다. 메시지 키와 값이 문자열인지 확인하십시오.