여러 필드의 합을 얻고 싶습니다. 나는 내 시간 창에서 두 필드 (계산 및 COUNT2)의 합을 원하는 // parse the data, group it, window it, and aggregate the counts
val windowCounts = text
.flatMap { w => w.split("\\s") }
.map {
나는 Flink에 처음 온 사람입니다. 이 코드는지도, 그룹 및 JSON 입력 합계가 있습니다. 단어 수 계산식과 매우 유사합니다. 내가 어떤 이유로 난 당신의 코드를 실행 (occupied,1) (vacant,1) (occupied,2) public static void main(String[] args) throws Exception {
St
데이터를 실시간으로 스트리밍해야하는 프로젝트가 있습니다. 나는 카프카 주제에 인스 트림 데이터를 썼다. 이제이 데이터를 읽고 처리해야합니다. 이를 위해 Flink를 사용할 계획입니다. 내 딜레마는 자바, 스칼라 또는 코 틀린을 모른다는 것입니다. 나는 Flink를 사용하기 위해 그들 중 한 명을 배워야 할 것입니다. Kotlin이 가장 최신 버전이기 때문에
작업을 다시 시작하지 않고 런타임 중에 새로운 데이터 스트림을 동적으로 추가 할 수 있습니까? 는 지금까지 내가 이해로, 일반적인 FLINK 프로그램은 다음과 같습니다 : 내 경우 val env = StreamExecutionEnvironment.getExecutionEnvironment()
val text = env.socketTextStream(hos
나는 어떻게되는지 알아 내려고합니다 : 여러 개의 socketTextStream에서 프로그램을 읽는 중이고이 텍스트 스트림이 다른 데이터 흐름으로 유입됩니다. 일). 내가 클러스터에서 작업을 실행할 때 for(int i =0; i< hosts.length; i++) {
DataStream<String> someStream = env.socketT
사용자 정의 병렬 가능 소켓 소스를 구현 한 작업에서 저장 지점을 사용하려고합니다. Cancelling job 4c99e0220c8c4683d1287269073b5c2c with savepoint to savepoints/.
java.lang.Exception: Canceling the job with ID 4c99e0220c8c4683d1287269
flink 카프카 소비자와 함께 스트림 (kafka 메시지가 주제에 스트리밍 됨)이 있으며 흥미로운 행동을 느낍니다. 데이터가 스트리밍 될 때, "완료"전에 데이터가 중지되거나 데이터가 끝나고 (몇 개의 창 후에) 창 끝까지 도달하지 않으면 나머지 파이프 라인은 방아쇠하지 마. 예 흐름 : env.addSource(kafkaConsumer)
.f
최근 Flink의 새 릴리스에서 ProcessWindowFunction을 공부하고 있습니다. ProcessWindowFunction은 전역 상태 및 창 상태를 지원합니다. 나는 Scala API를 사용하여 그것을 시도한다. 나는 지금까지 세계적인 국가를 일하게 할 수는 있지만 창 상태를 위해 행운이 없다. 내가하고있는 일은 시스템 로그를 처리하고 호스트 이
내가 아는 한 검사 점 실패는 무시되어야하며 잠재적으로 더 큰 상태로 재 시도해야합니다. 나는 HDFS 이름 노드는 예외가 org.apache.hadoop.ipc.RemoteException (org.apache.hadoop을 던져졌다 문제 b'coz 안전 모드로 가서이 상황이 있었다. ipc.StandbyException) : 작동 범주 WRITE는 상태