spark-streaming

0열

2답변

스파크 스트리밍 API를 통해 카프카를 사용하여 Avro 메시지를 생성하고 소비하려고합니다. 그러나 Avro는 객체를 직렬화 가능한 예외가 아니라 던졌습니다. AvroKey 래퍼를 사용하여 데이텀을 래핑하려고했습니다. 아직도, 그것은 작동하지 않습니다. 프로듀서 코드 : public static final String schema = "{" +"\

1열

1답변

누구나 스파크 구조화 된 스트리밍을 사용하여 Redshift로 스트리밍하려고합니다.

스파크 스트리밍 (v2.2)을 사용하여 데이터를 리디렉션으로 스트리밍 할 수 있는지 알고 싶습니다. spark-redshift 라이브러리 (https://github.com/databricks/spark-redshift)를 발견했습니다. 그러나 배치 모드에서만 작동합니다. 스트리밍 데이터로 수행하는 방법에 대한 다른 제안 사항이 있습니까? Redshift에

1열

1답변

스파크 스트리밍 처리 병렬 처리

스파크 스트리밍 작업을 사용하여 입력 요청을 처리합니다. 내 스파크 입력은 파일 이름을 취하고 데이터를 다운로드하고 변경 한 다음 데이터를 다운 스트림으로 보냅니다. 현재 하나의 파일을 처리하는 데 2 분이 걸립니다. 이러한 파일 요청은 독립적 인 작업이므로 병렬로 작업 할 수 있습니다. 현재 netcat 서버를 통해 입력을 제공하면 각 요청이 먼저 처

0열

1답변

Spark Streaming Redshift 성능 문제

Redshift 테이블에서 작동하는 Spark 스트리밍 코드에 많은 테이블, 삽입 및 업데이트 만들기가 있습니다. Spark-redshift-preview-3.0.0 jar와 scala 2.11.8을 사용하고 있습니다. 스트리밍 작업으로 Redshift에서 5000 행을 삽입/업데이트하는 데 20 분 이상 소요됩니다. 이는 스파크 마이크로 배치 창을 초과하

2열

2답변

spark 2.2 struct 스트리밍 foreach 작성자 jdbc 싱크 지연

나는 spark 2.2 struct streaming을 사용하여 kafka msg를 oracle 데이터베이스로 읽는 프로젝트에 있습니다. kafka 로의 메시지 흐름은 초당 약 4000-6000 개의 메시지입니다. hdfs 파일 시스템을 싱크 대상으로 사용하는 경우에는 정상적으로 작동합니다. foreach jdbc writer를 사용할 때 시간이 지남에 따

0열

1답변

Hbase 통합을 통한 Spark Structured Streaming

우리는 MySQL에서 수집 한 카프카 데이터를 스트리밍하고 있습니다. 이제 모든 분석이 완료되면 데이터를 Hbase에 직접 저장하려고합니다. 나는 스파크 구조 스트리밍 문서를 통해 가지고 있지만 Hbase와 싱크를 찾을 수 없습니다. 카프카에서 데이터를 읽는 데 사용한 코드는 다음과 같습니다. val records = spark.readStream.form

0열

1답변

하이브는 주기적으로 증분 데이터를 hdfs의 동일한 테이블 파일에 추가하거나 삽입 할 수 있습니까?

Spark 스트리밍 (Flume exec)에서 매분마다 네트워크 캡쳐 된 데이터를로드하고 IP 주소에 따라 데이터를 집계하고 마지막에 하이브에 저장합니다. IP 주소에 파티션이있는 Hive ORC 테이블을 더 빠르게 만들려면 잘 작동합니다. 유일한 문제는 그것이 "ALTER TABLE ... CONCATENATE;"를 사용하여 여러 개의 IP 주소 (몇 개

2열

1답변

"java.lang.NoSuchMethodError : org.eclipse.paho.client.mqttv3.MqttConnectOptions.setAutomaticReconnect (Z) V"의 원인

제공되는 샘플 wordcount 예제를 수정하여 Apache Bahir를 사용하여 spark 구조화 된 스트리밍 MQTT를 실행하려고합니다. SPARK 버전 : spark-2.2.0-bin-hadoop2.7. 내가 프로그램을 실행하려면이 명령을 사용하고 있습니다 : 아래 bin\spark-submit --packages org.apache.bahir:spa

0열

2답변

hdfs에서 스파크 스트리밍을 사용하여 큰 xml을 사용하십시오.

저는 에서 레코드의 spark-streaming-디렉토리에 있습니다. 문제는 내 기록이 크고 (한 줄짜리); 그들은 1G 크기에 가깝습니다. val xmlStream = ssc.textFileStream(monitoredDirectory).map { ("",_) } 을하지만 불꽃이 더 병렬로 처리를 위해 내 파일을 분할 : 내가 할. Xml은 분할 불가

-1열

1답변

아파치 스파크 스트리밍을 사용하는 데이터의 평균화

파이썬을 사용하고 있습니다 kafka를 통해 json 사전을 스파크 스트림으로 수신 중입니다. JSON은 { "a": 10} { "a": 20} 하나의 카프카 메시지), 키는 항상 "a"가되지만 얼마나 많은 사전인지는 확실하지 않습니다. 위의 경우 평균 10과 20이 필요합니다.내 지식에 따라 averageByKey가 유용 할 수 있습니다. 그러나 사용법은