structured-streaming

2열

1답변

형식 오류가 : '빌더'개체가 스트리밍 구조 파이썬 스파크 프로그래밍 가이드 [링크]에 주어진 예제를 실행에 호출 스파크 구조 스트리밍

되지는 http://spark.apache.org/docs/latest/structured-streaming-programming-guide.html 나는 오류 아래 얻을 : 형식 오류를 '빌더 '개체가 호출되지 않습니다 from pyspark.sql import SparkSession from pyspark.sql.functions import expl

1열

1답변

왜 Spark DataFrames가 스키마를 변경하지 않고 무엇을해야합니까?

Spark 2.1의 Structured Streaming을 사용하여 내용이 바이너리로 인코딩 된 Kafka 주제에서 읽습니다. DataFrame을 설정 한 후 이에 : root |-- key: binary (nullable = true) |-- value: binary (nullable = true) |-- topic: string (nullable

2열

1답변

Spark Streaming XML 파일

S3 폴더로 스트리밍 된 xml 파일을 처리해야한다는 요구 사항이 있습니다. 현재, 나는 그것을 다음과 같이 구현했다. 첫째, 모든 파일이 새로운 HDFS 디렉토리 data.coalesce(1).saveAsTextFile(sdir); 에 문자열을 쓰기 if (data.count() !=0) 을 읽은 경우 스파크의 FILESTREAM 각 RDD를 들어

3열

1답변

Spark에서 배치 데이터 셋에 스트리밍 데이터 세트 추가

우리는 Spark에서 데이터베이스의 히스토리 데이터를로드하고 Spark에 새로운 스트리밍 데이터를 계속 추가하고자하는 Spark의 유스 케이스를 가지고 있습니다. 최신 데이터 세트. 내가 아는 한, Spark SQL이나 Spark Streaming은 이력 데이터와 스트리밍 데이터를 결합 할 수 없습니다. 그런 다음이 문제를 해결하기 위해 만들어진 것으로 보

1열

1답변

Spark Structured Streaming MemoryStream 보고서 사용자 지정 싱크에 사용할 때 데이터가 선택되지 않았습니다.

간단한 테스트 사례를 작성하여 spark 구조 스트리밍을 사용하려고합니다. 이 코드는 github의 holdenk에서 영감을 얻었습니다. 여기 는 @Test def demoCustomSink: Unit = { val input = MemoryStream[String] val doubled = input.toDS().map(x => x +

1열

1답변

구조화 된 스트리밍 작업이 모든 작업자를 사용하지 않음

Apache Kafka 데이터 스트림을 소스로 연결하는 Spark 2.0.2 구조화 된 스트리밍 작업이 있습니다. 이 작업은 kafka의 트위터 데이터 (JSON)를 가져오고 CoreNLP를 사용하여 감정, 품사 태깅 등과 같은 데이터를 주석으로 처리합니다. 로컬 [*] 마스터에서 잘 작동합니다. 그러나 독립형 스파크 클러스터를 설정하면 한 명의 작업자 만

2열

2답변

Spark Structured Streaming의 다중 집계

Spark Structured Streaming에서 여러 집계를 수행하고자합니다. 이 같은 뭔가 : 가 (폴더)에서 입력 파일의 스트림을 읽어 이 (약간의 변형과) 집계를 수행합니다 가 집계 2 (더 많은 변환)을 수행 이것을 구조적 스트리밍에서 실행할 때 "여러 스트리밍 집계가 스트리밍 데이터 프레임/데이터 세트에서 지원되지 않습니다."라는 오류 메시지가

3열

1답변

Spark Structured Streaming의 S3에서 새 데이터를 가져 오지 않았습니다.

Spark Structured Streaming에서 S3 버킷의 데이터를 읽으려고합니다. 아래 코드는 기존 데이터를 가져 오는 것입니다. 그러나 새로운 데이터가 버킷에 추가되면 Spark는이를 선택하지 않습니다. val lines = spark.readStream.schema(schemaImp).format("com.databricks.spark.avro"

1열

1답변

Spark Structured Streaming

단일 작업에서 여러 스트림 SQL 쿼리를 Kafka 스트림에서 실행하는 방법. 구조화 된 스트리밍은 신뢰할 수있는 방법입니다. 예를 들어, 단일 작업의 스트림에서 10 개의 쿼리를 실행하고 있습니다. 모든 실행에 대해 저장소에서 실행할 쿼리를 동적으로 변경하는 방법이 9 개의 쿼리 만 실행하려고한다고 가정합니다. 스트리밍 쿼리 일명 연속 쿼리 실행의 모든

1열

1답변

스파크는 카프카에서 김 구조 - 나는 새 브랜드를 사용하고 마지막 메시지 체크 포인트

에서 다시 시작한 후 다시 처리 (및 "알파"를 태그) 구조적 스트리밍 카프카 주제에서 메시지를 읽고 몇 업데이트 불꽃 2.0.2의 그것에서 카산드라 테이블 : val readStream = sparkSession.readStream .format("kafka") .option("subscribe", "maxwell") .opti