pyspark-sql

0열

1답변

sparkSQL "CASE WHEN THEN"pyspark에 두 개의 테이블 열이있는 경우

table_a 및 table_b 임시 테이블이 두 개 있고이 쿼리와 모든 조건이 올바르게 작동하려고합니다. SparkSQL를 사용하여 이러한 두 테이블에서 위의 쿼리를 실행이 SELECT DISTINCT CASE WHEN a.id IS NULL THEN b.id ELSE a.id END id, CASE WHEN a.num IS NULL THEN b

apache-spark apache-spark-sql spark-dataframe pyspark-sql 2017-11-15

---

1열

2답변

다른 열의 값을 기반으로 pyspark 열을 변경하십시오.

dys라는 이름의 pyspark 데이터 프레임이 있습니다. "데이터"holydays 목록에있는 경우 "휴일"그렇지 않으면 내가 그것으로 종료 : DAY_TYPE 경기장을 떠나지하려는 holydays=[u'2016-12-25',u'2016-12-08'....] 내가 종료 : DAY_TYPE을 전환하려면 : ONE LINE EXAMPLE: df.take

pyspark apache-spark-sql spark-dataframe pyspark-sql 2017-11-18

---

0열

1답변

목록을 사용하여 쿼리에서 SELECT 열 정의

열 이름이 완전히 일치하지 않는 쪽모 파일에서 쿼리해야합니다. 이 문제를 해결하고 내 모델이 정확히 데이터를 가져 오도록 보장하려면 필자가 열 목록을 '프리 페치'해야하고 검색해야하는 열을 한정하기 위해 일부 정규식 패턴을 적용해야합니다. 의사 코드에서 : PrefetchList = sqlContext.read.parquet(my_parquet_file).

apache-spark pyspark pyspark-sql 2017-11-20

---

-1열

1답변

PySpark에서 배열 유형으로 변환

pyspark.sql.functions.explode을 PySpark의 DataFrame에있는 배열 열에서 실행하려고 할 때 현재 다음 오류를 처리하고 있습니다. 목록 인스턴스가 아닌 경우 열을 파이썬 목록으로 변환하는 UDF를 만들려고했습니다. 그러나 여전히 동일한 오류가 발생합니다. 팬더에서는 일반적으로 줄을 꺼내서 무엇을해야할지 결정합니다. 데이터를보

pyspark pyspark-sql 2017-11-20

---

0열

1답변

PySpark의 병합 쿼리가 실패했습니다.

pyspark에서 병합 쿼리를 실행 중이지만 "merge"키워드가 spark에서 인식되지 않습니다. 17/11/27 14:39:34 ERROR JobScheduler: Error running job streaming job 1511793570000 ms.1 org.apache.spark.SparkException: An exception was rais

apache-spark hive pyspark apache-spark-sql pyspark-sql 2017-11-27

---

1열

1답변

Pyspark Dataframe - 문자열을 숫자로 매핑

데이터의 주어진 열 (이 경우 문자열)을 변환하여 숫자로 변환하는 방법을 찾고 있습니다. 예를 들어, 내가 값을 문자열 dataframe 있습니다 +------------+ | level | +------------+ | Medium| | Medium| | Medium| | High| | Medium| | Medium| | L

apache-spark pyspark apache-spark-sql spark-dataframe pyspark-sql 2017-11-30

---

2열

1답변

스파크 (PySpark) 파일이 이미 존재 함 예외

데이터 프레임을 텍스트 파일로 저장하려고하지만 파일 이미 있음 예외가 발생합니다. 코드에 모드를 추가하려고했지만 아무 소용이 없습니다. 또한 파일이 실제로 존재하지 않습니다. 누구든지이 문제를 어떻게 해결할 수 있을지 생각할 수 있습니까? 내가 PySpark 을 사용하고이 코드는 다음과 같습니다 distFile = sc.textFile("/Users/jer

apache-spark pyspark pyspark-sql 2017-11-30

---

1열

2답변

문 Pyspark

내 데이터는 다음과 같은 경우 : 나는 tot_amt 컬럼의 값에 의해 정의되는 바이너리 열을 만들려고하고 +----------+-------------+-------+--------------------+--------------+---+ |purch_date| purch_class|tot_amt| serv-provider|purch_location|

if-statement apache-spark pyspark apache-spark-sql pyspark-sql 2017-11-30

---

0열

1답변

PySpark에서 내 파일이 로컬에 존재하지 않는다고 생각하는 이유는 무엇입니까?

나는 로컬 살고 pyspark를 사용하여 TEXTFILE을 읽으려고하고, 존재하지 않는 나에게 파일을 말하고있다 : sc = SparkContext() sc._conf.setMaster("local[*]") sc.setLogLevel("DEBUG") sqlContext = SQLContext(sc) inpath='file:///path/to/fil

python apache-spark pyspark distributed-computing pyspark-sql 2017-12-05

---

0열

1답변

하나의 DataFrame에 3 개의 DataFrames를 결합하는 방법은 무엇입니까?

세 가지 다른 DataFrames를 하나로 결합하려고 시도하고 있지만 세 가지 모두에 참여하는 데 문제가 있습니다. 나는 둘을 합칠 수 있었다. 어떻게 세 개의 DataFrame을 올바르게 결합 할 수 있습니까? Pyspark : 아래 1.6.0 내 지금까지 노력하고 있습니다 : # EXPECTED OUTPUT: # -------file1.csv----

python pyspark spark-dataframe pyspark-sql 2017-12-05

---