두 개의 큰 테이블을 조인해야하기 때문에 pyspark 코드에서 spark.sql.shuffle.partitions configure를 재설정하려고합니다. 그러나 다음 코드는 최신 스파크 버전에서 작동하지 않는 오류는 말한다 나는 "spark.sql.shuffle을 재설정하는 방법을 알고 싶습니다가장 최근의 스파크 버전을 사용할 때 spark.sql.shuffle.partitions를 설정하는 방법
#!/usr/bin/python
# -*- coding: utf-8 -*-
import sys
import pyspark
from pyspark.context import SparkContext
from pyspark.sql.session import SparkSession
sc = SparkContext('local')
spark = SparkSession(sc)
spark.sparkContext.setConf("spark.sql.shuffle.partitions", "1000")
spark.sparkContext.setConf("spark.default.parallelism", "1000")
# or using the follow, neither is working
spark.setConf("spark.sql.shuffle.partitions", "1000")
spark.setConf("spark.default.parallelism", "1000")
"XXX에서 ""어떤 방법 "setConf 그 . 파티션 ".
감사합니다. :) 대단히 감사합니다. –
다행입니다. 다행이라면 다 잘될 수 있겠습니까? –