Apache Flink : Cassandra Sink metrics

나는 Cassandra Sink를 사용하여 Flink 앱을 작성했습니다. 모든 것이 잘 작동하지만 대기 시간, NumRecordsInPerSecond 등과 같이 다양한 측정 항목이 생성되지 않습니다.Apache Flink : Cassandra Sink metrics

다음 그래프는 정보를 보여주는 유일한 그래프입니다.

플 링크 (Flink)가 제공하는 대기 시간 통계가 정말 필요하지만 모든 데이터가 표시됩니다.

다른 그래프를 사용하려면 다른 작업을 수행해야합니까? 특히 대기 시간은 1입니다.

감사합니다.

출처

2017-10-29 CamiloR

LatencyMarker를 사용 중지하지 않았는지 확인하십시오. 기본적으로 LatencyMarker는 2 초마다 방출되어 각 운영자의 대기 시간을 계산합니다. LatencyMarker를 보낼 간격을 설정할 수 있습니다. env.getConfig().setLatencyTrackingInterval(1000L);

출처

2017-11-01 02:45:22 David

답장을 보내 주셔서 감사합니다. Unfourtunately, 위의 코드가 작동하지 않았다. 나는 단지 소스 (심지어 카프카)가 대기 시간을 등록하고 있지 않다는 것을 알아 차렸다. – CamiloR

이 문제에 대해 더 많이 조사한 결과 [대기 시간 측정 값은 숫자가 아니기 때문에] 그래프가 현재 작동하지 않는 것으로 나타났습니다 (http : //apache-flink-user-mailing-list-archive.2336050.n4. niggble.com/Using-latency-markers-td14791.html) – CamiloR

@CamiloR 그래, 실제로 Flink는 대기 시간 메트릭을 제공하지만 메트릭에 표시 할 웹 UI에는 문제가 있습니다. REST API (http://127.0.0.1:8081/jobs/[JOB-ID]/vertices/[VERTEX-ID]/metrics)를 통해 운영자에 대한 측정 항목 이름을 가져올 수 있으며 대기 시간은 http : //127.0입니다. .0.1 : 8081/jobs/[JOB-ID]/정점/[VERTEX-ID] /metrics?get=0.Map.latency. 내 경우에는 다음을 반환합니다. [{ "id": "0.Map.latency", "value": "{LatencySourceDescriptor {vertexID = 17, subtaskIndex = -1} = {p99 = 722.4499999999994, p50 = 147.5, min = 29.0, 최대 = 750.0, p95 = 441.75, 평균 = 183.3125} "}] – David

답변

관련 문제