스트리밍 중 하나에서 사용합니다. 우리의 센서 소프트웨어 중 하나는 스파크 스트리밍이 예외적으로 충돌하는 카프카에서 메시지를 읽으려고 할 때 ~ 20MB JSON 메시지/초를 50 개의 파티션이있는 카프카 항목으로 전송합니다. 상황을 더 잘 이해하기 위해 센서 소프트웨어가 1 초당 20MB의 메시지 만 전송하도록 설정했지만 동일한 오류로 인해 애플리케이션
내가 맞으면 기본적으로 spark streaming 1.6.1은 각 Kafka 파티션에서 데이터를 읽는 데 하나의 스레드를 사용하고 Kafka 항목 파티션은 50이라고 가정합니다. 각 50 개 파티션의 메시지는 순차적으로 읽히거나 라운드 로빈 방식으로 표시 될 수 있습니다. 사례 1 : 예 -if 은, 그때 파티션 레벨에서 작업을 어떻게 읽을 병렬 처리합니
10 개의 파티션이 있고 카프카 소비자 한 명을 통해 메시지를 소비하려고하는 카프카 항목을 만들었습니다. 그러나 카프카 소비자는 모든 파티션에서 메시지를 읽지 않습니다. 특히, 5 개의 특정 파티션에서만 메시지를 사용합니다. 예 : 소비자가 [0,1,2,3,4]에서만 메시지를 소비합니다. 다시 시작한 후 [5,6,7,8,9]에서 메시지를 소비하기 시작하면이
, 나는 두 가지 클라이언트 라이브러리가있는 것을보고 kafka_2.11_0.10.11와 카프카 - 클라이언트 - 0.10 3.1.1 는 첫 번째 ConsumerConnector consumer = kafka.consumer.Consumer.createJavaConsumerConnector...
consumer.createMessageStreams...
사람이 아래 queries.I에서 저를 도와 줄 수는 카프카 - 클라이언트 - 0.10.1.1 (단일 노드 단일 브로커) auto.create.topics.enable의 기본값을 사용하고 있습니다이 참입니다. 1.I는 소비를 들어 kafkaProdcuer<String,String> producer> producer...
producer.send(n
jar 파일 1과 2의 차이점을 말해 줄 수 있습니까? 나는 kafkaConsumer에서 poll (long timeout) API를 사용하여 브로커로부터 데이터를 가져 오기 위해 kafka 클라이언트를 작성하려고 시도했지만 구현은 자동으로 생성 된 것으로 보입니다 (아래 참조). 올바른 항아리에 대한 생각. public Map<String, Consume
저는 현재 카프카와 플린 크에서 일하고 있습니다. 카프카가 로컬 PC에서 실행 중이며 소비되고있는 주제를 만들었습니다. 바탕 화면 \의 카프카 \ 빈 \ 창> 카프카 - 콘솔 consumer.bat --zookeeper 로컬 호스트 : 2181 -topic 테스트 하지만 그것은 단지 메시지를 검색하는, 이 방식이 메시지에 대한 더 자세한 정보를 얻으시겠습니
tcpdump를 사용하여 kafka 소비자와 사육생간에 교환되는 데이터를 디버깅해야합니다. 나는 사육사 문서를 살펴 보았지만 사육사 통신 프로토콜에 대한 글을 찾을 수 없었다. 즉 헤더를 제거한 후 wireshark를 사용하여 다음 데이터 덤프를 얻는다. 데이터 부분을 어떻게 해석합니까? Frame 1: 78 bytes on wire (624 bits),
나는 플립 스트리밍에서 카프카 (kafka) 주제의 데이터를 읽으려고합니다. 아파치 카프카 커넥터 I 오류 다음 한 import java.util.Properties;
import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;
import org.apache.flink.st