elasticsearch-spark

1열

1답변

Apache Spark Java API + Twitter4j + 예외로 Twitter 스트림을 Elasticsearch에 저장 중

Apache Spark Java API를 사용하여 Twitter 스트림을 설정하려고합니다. 트위터 스트림을 Elasticsearch에 저장하는 동안 예외가 발생했습니다. 나는 문제가 왜 원시 짹짹을 저장하려고하는 것 같아요. 이 예외를 해결할 수있는 방법을 알려주세요. package com.twitter.streaming; import com.twitte

0열

1답변

elasticsearch-spark에서 메트릭 검색

ETL 캐스케이드 작업이 끝나면 Hadoop metrics을 사용하여 Elasticsearch 처리에 대한 메트릭을 추출합니다. elasticsearch-hadoop은 Hadoop 카운터를 사용하여 노출됩니다. Spark를 사용하여 동일한 작업을 수행하려고하지만 Spark connector을 사용하여 메트릭 관련 문서를 찾지 못했습니다. 항상 그렇지만 보통

0열

2답변

elasticsearch haoop에서 문서를 병합하고 es-sparksql을 사용하여 다중 키 값 쌍을 만듭니다

현재 elasticsearch hadoop은 데이터 집합/rdd를 1에서 1로 매핑하는 문서, 즉 데이터 집합의 1 행을 하나의 doc로 변환합니다. 이 시나리오에서 우리는 ' PUT spark/docs/1 { "_k":"one", "_k":"two", "_k":"three" // large sets , we dont need to store muc

0열

1답변

Elasticsearch hadoop 대량 일괄 처리 크기를 구성

나는 가능한 한 Stackoverflow를 통해 es-hadoop/es-spark 프로젝트에서 대량 인덱싱을 사용합니다. 그렇지 않으면 기본 batchsize는 BulkProcessor (5Mb)에 따른 것입니다. 이를 변경하기위한 구성이 있습니까? 코드에 JavaEsSparkSQL.saveToEs(dataset,index)을 사용하고 있으며 성능을 조정하

0열

1답변

Spark에서 정확한 필드를 얻는 Elasticsearch에서 읽으십시오.

저는 ElasticSearch에 매우 익숙합니다. Java에서 Spark를 사용하여 색인에서 데이터를 읽으려고합니다. 코드 조각이 있지만 문서의 두 "루트"요소 인 데이터 집합 내에서 문서를 반환하지만 나머지 모든 데이터는 JSON 형식으로 해당 열 안에 저장됩니다. root |-- aaa: struct (nullable = true) | |-- bbb