apache-spark-sql

0열

1답변

몇 가지 맞춤 최적화 된 논리적 계획을 SparkOptimizer에 연결하고 실행 계획을 확인하고 있습니다. 아래와 같이 xyz.Scala IN/스파크/SQL/촉매/맞춤 배치로 '브로 배치를'갖는 ABC : Object xyz extends RuleExecutor{ val batches = Batch (custom rule1):: Batch(custom

1열

2답변

sqlContext.read.load와 sqlContext.read.text의 차이점은 무엇입니까?

나는 텍스트 파일을 pyspark RDD로 읽으려고하고 있는데, sqlContext.read.load과 sqlContext.read.text 사이에 큰 차이가 있다는 것을 눈치 채고있다. s3_single_file_inpath='s3a://bucket-name/file_name' indata = sqlContext.read.load(s3_single_f

0열

1답변

Apache Spark - 작업자 노드의 데이터 그룹화 및 실행

우리는 실제 컴퓨터 데이터를 json으로 가져오고 있으며이 데이터는 RabbitMQ에서 가져옵니다. 아래 자료는 다음 아래에 'X'분의 기간 동안, 윈도우를하고 json으로의 샘플, {"DeviceId":"MAC-1001","DeviceType":"Sim-1","TimeStamp":"05-12-2017 10:25:35","data":{"Rate":10,"s

0열

1답변

rdd를 다른 S3 버킷에 simultaniously 저장하는 방법

계산 된 rdd를 다른 위치에 저장하는 방법을 알고 싶습니다. 또한 계산없이 알림을 위해 같은 것을 확장하십시오. rdd = <do some action> 내가 rdd.saveAstextFile("s3://<location1>")는 location1, 에 저장합니다하지만 location2에 저장하려면 방법도 그것을 어떻게 알고? persist/cache

-1열

1답변

Pyspark의 새로운 DataFrame에 반복적으로 저장

3 개의 다른 PySpark DataFrames를 기반으로 계산을 수행하고 있습니다. 이 스크립트는 계산을 수행한다는 의미에서 작동하지만, 상기 계산의 결과와 올바르게 작동하는 데 어려움을 겪습니다. 각 열 및 데이터의 각 행에 대한 import sys import numpy as np from pyspark import SparkConf, SparkC

0열

1답변

spark-sql에서 SELECT WHEN을 사용하여 여러 열 선택

select에서 여러 열을 얻는 방법? 예를 들어, 나는이와 함께 1 열을 얻을 수 있습니다 : df1.alias("l") .join(df2.alias("r"),Seq("id")) .select(when($"l.score" > $"r.score", $"l.name").otherwise($"r.name")) 을하지만이 전 이상 1 열 (또는 데이터 프

0열

1답변

spark-scala가 아닌 spark-SQL에 "임시"테이블을 만드시겠습니까?

입력 파일에서 테이블을로드했습니다. CREATE TABLE MyTable ( ID INT, VALUE FLOAT, RATE INT ... LOAD DATA LOCAL INPATH 'MYPATH' INTO TABLE MyTable; 지금은이 일 DerivedTable = SELECT ID, VALUE*RATE AS

3열

2답변

pyspark의 목록에서 서로 다른 데이터 프레임 열을 합치는 올바른 방법은 무엇입니까?

스파크 데이터 프레임에서 다른 열을 합치고 싶습니다. 코드 from pyspark.sql import functions as F cols = ["A.p1","B.p1"] df = spark.createDataFrame([[1,2],[4,89],[12,60]],schema=cols) # 1. Works df = df.withColumn('sum1',

1열

1답변

SparkSession.sql과 Dataset.sqlContext.sql의 차이점은 무엇입니까?

다음 코드 스 니펫이 있는데이 두 코드의 차이점은 무엇이며 어떤 코드를 사용해야합니까? 나는 스파크 2.2를 사용하고있다. Dataset<Row> df = sparkSession.readStream() .format("kafka") .load(); df.createOrReplaceTempView("table"); df.printSch

0열

1답변

집계를 위해 중첩 JSON을 읽는 방법은 무엇입니까?

저는 Spark를 처음 사용합니다. 내가 원하는 것은 중첩 된 jsons를 읽고 특정 조건에 따라 그룹화하는 것입니다. 예 : json에 도시와 우편 번호와 같은 사람의 세부 정보가있는 경우 나는 같은 도시와 우편 번호에 속한 사람들을 그룹화하고 싶습니다. 나는 DataSet에 jsons를 읽을 때까지 진행되었습니다. 하지만 그룹화하는 방법을 알지 못합니다