-1

I 실시간 스트리밍 한 사용 사례가 (HDP 2.4, 우리는 메시지 버퍼 카프카 (0.9)를 사용한다 스트림 처리 스트리밍 (1.6) 스파크). 우리는 HTTP에서 ~ 80-90K/초 이벤트를 수신합니다. 스파크 스트리밍에 의해 소비 될 카프카 주제에 대한 데이터 처리를 위해 권장되는 아키텍처를 제안 해 주실 수 있습니까?Flafka (HTTP -> Flume-> 카프카 -> 스파크 스트리밍)

우리는 flafka 아키텍처를 고려하고 있습니다.

Flume이 Http을 듣고 Kafka (Flafka)로 전송하여 실시간 스트리밍을 할 수 있습니까?

가능한 경우 가능한 다른 방법을 공유하십시오.

답변

1

하나의 접근법은 Kafka Connect 일 수 있습니다. Look for은 사용자의 필요에 맞는 소스 또는 사용자 정의 된 새 소스를 개발합니다.

+0

gasparms하며 HTTP 카프카가 – nilesh1212

+0

HTTP 소스가 수로 소스로 신뢰할 수 없습니다 다른 옵션을 연결할 수 없습니다. 어쩌면 나는 다른 접근법을 사용할 것입니다. – gasparms

+0

gasparms는이 – nilesh1212