flink-streaming

1열

1답변

Flink + Kafka 0.10 : Kafka 메시지 타임 스탬프를 필드로 사용하여 테이블을 만드는 방법은 무엇입니까?

FlinkKafkaConsumer010에 의해 생성 된 메시지의 타임 스탬프를 데이터 스트림의 값으로 추출하고 싶습니다. 나는 AssignerWithPeriodicWatermarks 클래스를 알고 있지만API를 통해 시간 집계를위한 타임 스탬프 만 추출하는 것으로 보입니다. 카프카 메시지 타임 스탬프를 Table에서 사용할 수 있도록 만들고 싶습니다. 나중

0열

1답변

Flink에서 2 개 이상의 스트림에 합류하고 합류하지 않고 2 개 이상의 스트림에 CEP를 적용하십시오.

질문 1 : 여러 센서 [예를 들어 8 센서]의 데이터를 통합해야하는 경우 시나리오를 진행하고 있습니다. 그들을 나무 형태로 합치십시오. 예를 들어 [s1, s2, s3 s4]를 결합하여 스트림 A를 만들고 [s5, s6, s7 및 s8]을 만들어 스트림 B를 만든 다음 스트림 A와 B에서 CEP를 수행합니다. 어떻게 할 수 있습니까? 질문 # 2 : 여러

1열

1답변

Apache Flink : Cassandra Sink metrics

나는 Cassandra Sink를 사용하여 Flink 앱을 작성했습니다. 모든 것이 잘 작동하지만 대기 시간, NumRecordsInPerSecond 등과 같이 다양한 측정 항목이 생성되지 않습니다. 다음 그래프는 정보를 보여주는 유일한 그래프입니다. 플 링크 (Flink)가 제공하는 대기 시간 통계가 정말 필요하지만 모든 데이터가 표시됩니다. 다른 그래프

0열

1답변

Flink : Reduce, Fold, Aggregations의 소스가 DataStream 대신 KeyedStream 인 이유는 무엇입니까?

Apache Flink의 설명서에 따르면 : DataStream Transformations. 접은 집계 DataStreamDataStream로부터 KeyedStreamDataStream- 대신 에서 변환을 대표하는, 감소 모두. 이유를 알고 싶습니다. 는 지금까지 내가 이해, 당신은 여전히 map 또는 filter처럼 (비 키가) 데이터 스트림에 re

0열

1답변

플립 크 터플을 문자열로 변환

안녕하세요. 튜플을 Tuple2<String, Integer>으로 변환하여 문자열로 변환 한 다음 KAFKA로 보내주십시오. 임 튜플을 반복하고 그 중 하나에서 문자열을 만드는 방법을 알아 내려고 노력 중이므로 튜플에 N 개의 요소가있는 경우이를 포함하는 문자열을 만들고 싶습니다. 나는 맵핑을 시도했지만 터플의 각 요소에 대해 새로운 문자열을 얻는다. Si

0열

1답변

Flink에서 sum 함수에있는 요소의 수를 얻는 방법은 무엇입니까?

저는 sum 함수에있는 원소의 수를 얻고 싶습니다. 예 : val counts = text.flatMap { _.toLowerCase.split("\\W+") } .map { (_, 1) } .keyBy(0) .timeWindow(Time.minutes(10)) .sum(1) 출력 : hello : 4 wor

0열

1답변

flink에서 시간 창이 끝나기 전에 데이터를 수집하십시오.

고유 기능을 얻기 위해 apply 함수를 사용합니다. 하지만 고유 한 데이터의 수가 바뀌면 카운트를 수집하려고합니다. 코드는 : 시간의 창 끝은 어떻게 슬라이딩 창없이 더 자주 값을 얻을 수있을 때 hashMap .keyBy(x => x.hash) .timeWindow(Time.minutes(15)) .apply(new DataWindow())

2열

1답변

Flink Stream Window 메모리 사용량

가능한 경고 생성을 위해 스트리밍 창 지원을 위해 특별히 Flink를 평가 중입니다. 내 관심사는 메모리 사용량이므로 다른 사람이 도움을 줄 수 있으면 감사하겠습니다. 예를 들어,이 응용 프로그램은 주어진 텀블링 윈도우 (tumbling window) 내에서 5 분 동안 상당한 양의 데이터를 스트림에서 소비합니다. 평가 시점에서 기준과 일치하는 예를 들어

2열

2답변

Flink : 사용 중지 된 폴드를 집계하는 방법은 무엇입니까?

Flink : Monitoring the Wikipedia Edit Stream의 빠른 시작 예제를 따르고 있습니다. 예는 자바에, 나는 다음과 같은 스칼라에 구현하고 그러나 /** * Wikipedia Edit Monitoring */ object WikipediaEditMonitoring { def main(args: Array[Strin

0열

1답변

합니까 FLINK 캐시 자바 클래스</p> <pre><code>./bin/flink run -p 3 lib/myApp.jar <insert command line args here> </code></pre> <p>이 작업을 실행하여

내가 ./bin/start_local.sh 가 나는 FLINK 작업을 시작 사용하여 로컬 FLINK 클러스터를 실행하고 (아닌 IDE를 통해 예) 클러스터에서 실행할 때 예상대로 그러나 JAR 파일 (예 : lib/myApp.jar)을 업데이트하고 위와 같이 작업을 다시 시작하면 새 JAR이 적용되지 않습니다. 이 특별한 경우에는 필드의 이름을 변경하여