나는 카프카 문서를 읽었지만, 여전히 한 주제를 어떻게 소비하는지 모른다. 가정 : "뭔가 일이났습니다"(이 주제를 분할하지 않음)와 같은 주제가 하나 있는데, 많은 고객이 그것을 소비하려고합니다. 그럼 어떻게해야합니까? 많은 고객이 병렬로 소비 할 수있게 만드시겠습니까? 파티션 및 고객 그룹을 사용합니까? 나는 이것에 대해 하나의 생각을 가지고 있지만,
kafka 로그 (kafka 0.8.1.1) 회전 과정에서, 나는 kafkaServer.out을 제외하고 모두를 회전 관리했습니다. 이것은 log4j에서 처리하지 않습니다. 자바 프로세스를 시작하는 스크립트 인 kafka-run-class.sh를보고 나면 파일로의 리디렉션으로 실행됩니다. kafka를 다시 시작하지 않으면 파일을 회전 할 수 없습니다. 이
최근 Camel에게 Kafka 용 구성 요소가 있다는 것을 알았습니다. 그래서 나는 그것을 소용돌이 치기로 결정했습니다. 나는 좋은 간단한 파일을 사용하기로 결정 - ... 이것은 내가 얻을이 실행에, 그러나, 간단한데 <route>
<from uri="file:///tmp/input" />
<setHeader headerName="k
spark 1.0 용 spark streaming에서 kafka 소비자를 구현해야합니다. 나는 카프카 제작자를 썼다. 누구든지 카프카에서 메시지를 가져 오기 위해 스파크 수신기를 쓰는 방법에 대해 나를 도울 수 있습니까? 또한 Intellij IDEA에서 kafka spark 스트리밍 프로젝트를 실행하는 방법을 알고 싶습니까?
저는 자바를 처음 사용하고 블로그를 https://cwiki.apache.org/confluence/display/KAFKA/Consumer+Group+Example으로 사용하여 카프카에서 스트림을 수신하기위한 내장형 어댑터를 개발하려고합니다. 이것은 코드의 일부이며 소비자가 단일 스레드라고 가정합니다. public void run() {
Map<
다음 응용 프로그램을 개발하는 중이고 정말 다각형 지속성을 사용하고 싶습니다. 다른 서비스에 대해 서로 다른 데이터 구조를 쿼리 할 수 있다는 생각을 좋아합니다. 필자는 기본적으로 MongoDB, Neo4j/Titan, SQL 및 Cassandra/Hbase를 동기화하려고합니다. 현재 try/catch 블록에서 모든 것을 래핑하고 하나가 실패하면 다시
현재 ec2 + sqs + s3을 사용하여 큰 데이터 솔루션을 구현하고 있습니다. 아이디어는 s3에서 호스팅되는 파일의 막대한 데이터베이스를 가지고 있다는 것입니다. 내 응용 프로그램을 사용하는 클라이언트는 규칙 일치를 제출하여 s3에서 사용 가능한 모든 관련 파일을 일치시킨 다음 조건문을 평가하고 결과를 사용자에게 반환하여 어떤 파일이 조건부와 일치하는지
나는 카프카에 대해 배우고 특히 여기에 소비자에 대한 부분을 https://kafka.apache.org/documentation.html#introduction 을 소개 섹션을 읽고. 소개의 마지막 단락에서 두 번째로 카프카가 더 좋습니다. 주제 내에서 병렬 처리 개념 (파티션)을 사용함으로써 Kafka는 으로 소비자 프로세스 풀에 대해 주문 보증과로드
WebSocket을 사용하여 Apache Kafka에서 브라우저로 메시지를 스트리밍하는 앱을 작성 중입니다. 서버가 잠시 동안 메시지를 소비하지 않고 오프셋이 뒤쳐지면 websocket은 1000 또는 2000 메시지 뒤에 닫힙니다. 이 숫자는 모든 테스트를 두 번씩 번갈아 수행하는 것으로 보입니다. 메시지는 utf8이며 일반적으로 8 바이트 조각에서 길이