pyspark-sql

0열

1답변

pyspark를 사용하여 oracle sql에서 직접 SQL 스크립트를 읽을 수있는 방법이 있습니까? 필자는 pyspark에 두 개의 테이블을로드하고 결합하려고 시도했습니다.이 작업을 pyspark에서 수행하는 데 오랜 시간이 걸리고 더 많은 테이블 (6 개의 테이블)에 참여해야합니다. Oracle Sql에서는 시간이 많이 걸리지 않습니다. 그럼 어떻게하면

0열

1답변

pyspark에서 두 열의 연결을 사용하여 필터링하는 방법

저는 쪽매 파일을 읽었으며 준비된 사전을 사용하여 행을 필터링하고 싶습니다. 데이터 프레임에는 col1과 col2라는 두 개의 열이 있는데, 이들은 string 유형입니다. 내 사전에 문자열 집합이 있고 col1 및 col2 열의 문자열 연결이 사전에있는 행이 필요합니다. 나는 df.filter((df['col1']+df['col2']) in my_dict

2열

1답변

AWS Glue Catalog의 모든 데이터베이스 및 테이블을 나열하는 방법?

AWS Glue 콘솔에서 Development Endpoint를 만들었습니다. 이제 gluepyspark 콘솔에서 SparkContext 및 SQLContext에 액세스 할 수 있습니다. 카탈로그에 액세스하여 모든 데이터베이스와 테이블을 나열하려면 어떻게합니까? 평소 sqlContext.sql("show tables").show()이 작동하지 않습니다. C

0열

1답변

PySpark를 사용하여 Postgres에 JSON 열 유형을 쓰는 방법은 무엇입니까?

데이터 유형이 JSONB 인 Postgresql 테이블이 있습니다. DataFrame을 JDBC를 통해 Postgresql 테이블에 어떻게 삽입합니까? body 열을 JSONB Postgresql 데이터 형식으로 변환 할 UDF가있는 경우 사용하는 해당 pyspark.sql.types은 무엇입니까? JSONB 열이 PostgreSQL을 테이블 : CRE

0열

1답변

PartitionBy은 다음과 PySpark

내가 3 열 (COL1 문자열, COL2 INT, COL3 문자열)와 dataframe (DF)가 특수 문자를 제거하지만 기록의 수백만 : 내가 partitionBy을하려고 Test's 123 abcdefgh Tes#t 456 mnopqrst Test's 789 hdskfdss PySpark를 사용하여 아래 명령문을 사용하여 데이터를 쓰면 Col1의

0열

1답변

스파크에서 LSH를 사용하여 데이터 프레임의 모든 포인트에서 가장 가까운 이웃 쿼리 실행

데이터 프레임의 각 특징 벡터에 대해 k 개의 가장 가까운 이웃이 필요합니다. pyspark에서 BucketedRandomProjectionLSHModel을 사용하고 있습니다. 이제 모델 brp = BucketedRandomProjectionLSH(inputCol="features", outputCol="hashes",seed=12345, bucketLen

0열

1답변

Spark JOB을 다시 시작하지 않고 Pyspark에서 증분 데이터로드 및 쿼리

안녕 모두 증분 데이터 쿼리를 수행하려고합니다. df = spark .read.csv('csvFile', header=True) #1000 Rows df.persist() #Assume it takes 5 min df.registerTempTable('data_table') #or createOrReplaceTempView res

0열

2답변

인스턴스가 pyspark의 데이터 프레임에 있는지, 데이터 프레임에서 ocurrence가 있는지 어떻게 확인할 수 있습니까?

저는 Atr1, Atr2 및 Atr3의 세 가지 속성을 가진 데이터 프레임에서 인스턴스를 추출했습니다. 반면에 Atr1, Atr2, Atr3, Atr4와 같은 4 가지 특성을 포함하는 데이터 프레임이 있지만 Atrib1, Atr2 및 Atr3은 앞에서 언급 한 인스턴스와 같습니다. 나는 이런 일이 : Instance: [Row(Atr1=u'A', Atr

0열

2답변

CASE 문의 배열 유형 열 값 사용 방법

으로 저장된 Seq[String] 및 valB으로 저장된 listA 두 개의 열이있는 데이터 프레임이 있습니다. 나는 INT 타입이 될 것입니다 세 번째 열 valC를 만들려면 그 값은 iff valB is present in listA then 1 otherwise 0 내가하고 시도 않습니다 : val dfWithAdditionalColumn = df.w

1열

2답변

데이터 프레임 필터 작업에 대한 매개 변수로 RDD 목록 사용

다음 코드 단편을 가지고 있습니다. from pyspark import SparkContext from pyspark.sql import SparkSession from pyspark.sql.types import * sc = SparkContext() spark = SparkSession.builder.appName("test").getOrCre