structured-streaming

1열

2답변

Structured Streaming을 사용하여 HDFS에서 MS SQL Server로 마루 파일을 복사하는 방법은 무엇입니까?

스파크 스트리밍을 사용하여 MS SQL Server에 HDFS의 마루 파일을 복사하려고합니다. MS SQL Server 용 JDBC 드라이버를 사용하고 있습니다. 내 코드는 다음과 같습니다 val spark = SparkSession.builder().master("yarn").appName("StreamAFile").getOrCreate(); val u

4열

2답변

Java의 구조화 된 스트리밍을 사용하여 Kafka의 레코드를 deserialize하는 방법은 무엇입니까?

저는 Spark 2.1을 사용합니다. 나는 Spaf Structured Streaming을 사용하여 카프카에서 레코드를 읽고,이를 역 직렬화하고 이후에 집계를 적용하려고합니다. 나는 다음과 같은 코드가 있습니다 : SparkSession spark = SparkSession .builder() .appName("Statistics"

0열

1답변

Spark Structured Streaming을 사용하여 Json으로 인코딩 된 메시지를 인쇄하는 방법

각 행이 Json 문자열 인 데이터 세트가 있습니다. 그냥 Json 스트림을 인쇄하거나 배치 당 Json 스트림을 계산하고 싶습니다.. 여기 내 코드는 지금까지 val ds = sparkSession.readStream() .format("kafka") .option("kafka.bootstrap.servers",bootstra

0열

1답변

SparkSql - 쿼리 실행에 참여 내가 던져 SparkSession에 쿼리를 실행하고

'객체가 선언 클래스의 인스턴스가 아닌'발생 "개체 클래스를 선언의 인스턴스가 아닌", 아래의 코드 인 후 Dataset<Row> results = spark.sql("SELECT t1.someCol FROM table1 t1 join table2 t2 on t1.someCol=t2.someCol"); results.count(); 예외는, 잘

0열

1답변

프로덕션 환경에서 사용하기에 적합한 스트리밍 구조로되어 있습니까?

저는 PySpark를 사용하고 있습니다. 아직 알파 버전이므로 구조화 된 스트리밍을 프로덕션에서 사용할 수 있는지 확실하지 않습니다. 생산 환경에서 사용하는 것이 좋은지 누군가가 말해 줄 수 있습니까?

0열

1답변

토픽의 여러 파티션에 대한 Spark Structured Streaming

Spark 구조화 된 스트리밍의 다중 파티션에 대해 JSON을 어떻게 구성합니까? 아래 예제는 하나의 파티션에만 붙여 넣었습니다. 당신의 도움을 주셔서 감사합니다. spark.readStream().format("kafka") .option("kafka.bootstrap.servers", "****") .option("subscribe

0열

2답변

데이터 집합을 <Row>으로 작성하여 Spark Structured Streaming - Java8의 kafka 출력 항목에 어떻게 쓸 수 있습니까?

Java 코드 스 니프 (snip of code)를 도와 줄 수있는 사람이 있습니까? spark-sql-kafka-0-10_2.10을 사용하고 있습니다. 나는 스파크 2.1에 필요한 ForeachWriter 인터페이스 있다고 읽을 수 있지만 나는 당신에게

0열

1답변

파이썬으로 스파크 구조화 된 스트리밍

나는 카프카와 파이썬으로 구조화 된 스트리밍을 시작하려고한다. 요구 사항 : Spark에서 Kafka (JSON 형식)의 스트리밍 데이터를 처리 (변환 수행) 한 다음 데이터베이스에 저장해야합니다. 나는 data = spark.readStream.format("kafka").option("kafka.bootstrap.servers", "localhost:9

6열

1답변

구조화 된 스트리밍을 사용하여 Kafka에서 JSON 형식으로 레코드를 읽는 방법?

나는 Kafka에서 데이터 스트림을로드하기 위해 DataFrame/Dataset API를 기반으로하는 Spark-Streaming을 사용하여 structured streaming approach을 사용하려고합니다. 내가 사용 스파크 2.10 카프카 0.10 스파크-SQL-카프카-0-10 스파크 카프카 데이터 소스에 정의되어 기본 스키마 : |key|valu

0열

1답변

pyspark의 구조화 된 스트리밍

다른 서버에서 hbase로 데이터를 스트리밍하고 파이썬에서 다른 열 패밀리를 정의 할 수 있습니까? 나는 스파크 문서에 주위를 둘러 보았다 만 볼 수 있습니다 : writestream.format('jdbc').start('jdbc:///') 가 어떻게 같은 구현은 다른 열 가족에 데이터를 매핑 할 수있는 기능 HBase를 직접 작성해야합니까?