flink-streaming

1열

1답변

KeyedStream (Apache Flink)에서 키당 워터 마크를 생성 할 수 있습니까?

다른 물리적 장치가 이벤트를 보내는 유스 케이스를 구현하고 있으며 네트워크/전원 문제로 인해 플립 크 소스에서 이벤트를 수신하는 데 지연이 발생할 수 있습니다. Flink 작업 내의 연산자 중 하나는 Pattern 연산자이며 시간에 민감한 특정 패턴이 있으므로 Event 시간 특성을 사용하고 있습니다. 그러나 문제는 특정 장치의 이벤트가 예기치 않게 지연되

0열

2답변

FLINK에서 수퍼 사이즈 창을 처리하는 방법은 무엇입니까?

지난 3 개월 동안 다른 사람의 작업을 통합해야한다는 요구 사항이 있습니다. 그런 다음 결과를 ML 모델에 넣어 이상한 부분을 얻습니다. 시스템의 거대한 흐름을 고려하면 매우 큰 창이됩니다. 이 시나리오를 어떻게 처리 할 수 있습니까?

1열

1답변

FLINK 작업 슬롯에 대해 혼동이 있음

작업 관리자가 여러 작업 슬롯을 가질 수 있음을 알고 있습니다. 하지만 작업 슬롯이란 무엇입니까? JVM 프로세스 또는 메모리 또는 스레드의 객체?

0열

1답변

아파치에서 데이터 스트림/연산자와 스레드 사이의 상관 관계 flink

데이터 스트림 당 여러 개의 데이터 스트림과 여러 연산자를 처리 할 때 Flink의 런타임 측면을 이해하려고합니다. 사용 사례 : 단일 플립 크 작업 (각각의 데이터 스트림은 서로 다른 시간 대기 시간을 갖는 하나의 장치를 나타내는 각각의 데이터 스트림)에서 N 개의 데이터 스트림으로 구성되며 각각의 데이터 스트림은 두 개의 스트림으로 분할됩니다.이 중 하

0열

1답변

Apache Flink : 스트리밍 응용 프로그램에 intermedia 데이터를 저장하는 방법

Flink의 DataStream API로 MisraGries 알고리즘을 구현하고 있습니다. k 카운터는 증가 또는 감소하여 데이터 요약을 기록합니다. DataStream API를 사용하여 알고리즘을 구현할 때 이러한 카운터를 저장하는 가장 좋은 방법은 무엇입니까? 이제 연산자에서 변수를 HashMap으로 선언했습니다. 이 방법이 올바른지 또는 국가와 같은

0열

1답변

Flink 모니터링 : 5 분 이상 통계 수집

나는 Flink 커뮤니티에 익숙하지 않으며 스트리밍 데이터를 위해 Flink의 성능을 캡처하기위한 실험적 연구를 시도하고 있습니다. 이 경우 몇 시간 동안 작업을 실행하는 통계를 수집하려고합니다. 그러나 Flink의 UI를 사용하여 지난 5 분 동안의 통계 만 볼 수 있습니다. Rest API를 사용하려고했지만 읽거나 쓰는 바이트 이외의 통계 데이터가 없습

1열

2답변

BasicAuth를 Flink에서 ElasticSearch Connector와 함께 사용하는 방법

플 링크에서 탄력적 인 제작자를 사용하고 싶지만 인증에 약간의 문제가 있습니다. Nginx를 신축성있는 검색 클러스터 앞에두고 기본 인증을 nginx에서 사용합니다. 그러나 탄성 검색 커넥터와 나는 (때문에 InetSocketAddress의) 내 URL에 기본 인증을 추가 할 수 없습니다는 기본적인 인증과 elasticsearch 커넥터를 사용하는 아이디어

4열

1답변

Apache Flink : 카프카의 데이터를 바이트 배열로 읽어들입니다.

카프카에서 데이터를 읽을 수있는 방법은 byte[]입니까? String으로 이벤트를 읽는 구현이 있는데 SimpleStringSchema()을 사용하지만 데이터를 읽을 스키마를 byte[]으로 찾을 수 없습니다. 여기 내 코드입니다 : 마지막으로 내가 찾은 Properties properties = new Properties(); propertie

0열

1답변

Apache Flink : 하위 클래스 튜플의 데이터 스트림과 함께 writeAsCsv()를 사용할 수 없습니다.

여기에서 권장하는 내용은 Best Practices - Naming large TupleX types입니다. 내 데이터 스트림에 대해 터플 대신 POJO를 사용하고 있습니다. 내가 CSV 파일로 PositionEvent의 데이터 스트림을 저장하려고하면 public class PositionEvent extends Tuple8<Integer, String,

1열

1답변

Apache Flink 데이터 스트림 피드 방법

Apache Flink를 처음 사용합니다. 나는 DataStream을 만들고 그것을 다른 시스템의 값으로 보내고 싶다. "SourceFunctions"를 추가하는 방법을 예제에서 찾았습니다.이 함수에서는 소스에서 값을 기다리고 해당 값을 Flink에 게시하고 ctx.collect를 호출 한 다음 다시 폴링합니다. 하지만 값이 도착하면 함수를 호출하는 데이터