elasticsearch-spark에서 메트릭 검색

Question

ETL 캐스케이드 작업이 끝나면 Hadoop metrics을 사용하여 Elasticsearch 처리에 대한 메트릭을 추출합니다. elasticsearch-hadoop은 Hadoop 카운터를 사용하여 노출됩니다.

Spark를 사용하여 동일한 작업을 수행하려고하지만 Spark connector을 사용하여 메트릭 관련 문서를 찾지 못했습니다.

항상 그렇지만 보통은 EMR (하둡)에서 작업을 실행하려고하므로 Spark connector은 계단식 연결기와 동일한 방식으로 Hadoop을 사용하고있을 수 있습니다. 어쨌든, 나는 그것이 계단식 같은 "MapReduce 커넥터 유형"에만 있다고 생각하기 때문에 그런 경우는 아니라고 생각합니다.

그래서 제 질문은 다음과 같습니다

1. 어떻게 Elasticsearch 점화 커넥터에서 측정 추출?
2. 커넥터가 Hadoop 카운터를 사용하는 경우 Hadoop 스레드에서 Hadoop 카운터를 실행할 때 Spark에서 Hadoop 카운터에 액세스하는 방법은 무엇입니까?

버전 :

• 스칼라 기본적 2.11.8
• 스파크 2.1
• 하둡 2.7.2
• elasticsearch - 스파크 20_2.11 5.2.2

Answer 1

구현되지 않았습니다. ticket on Spark, opened on 01/Apr/16이 있으며 활동이 없어도 열리지 않으므로 아무도 처리하지 않습니다.

또한 discussion in the ES forum이지만 해결 방법은 없습니다.