pyspark-sql

0열

1답변

pyspark.sql.functions에서 max/min/avg/col을 가져 오기 위해 떨어짐

pycharm from pyspark.sql.functions import max, min, col에 줄을 사용하고 있습니다. 그러나 log - sql.functions의 기능을 인식하더라도 해당 기능을 인식하지 못합니다. max, min 및 col이 인식되지 않는 이유는 무엇입니까? 내 pyspark 버전은 2.2이고 파이썬 버전은 3.6입니다 (아나콘다

python pyspark pyspark-sql 2017-09-16

---

-3열

1답변

pyspark 데이터 프레임의 이상 값 감지

저는 Spark와 Hadoop의 세계에 새로운 있습니다. 나는 인터넷에서이 주제들을 스스로 배우기 시작했다. Spark의 DataFrame이 불변이라면 Spark DataFrame에서 특이점 탐지를 수행하는 방법을 알고 싶습니다. 이것을 수행 할 수있는 스파크 패키지 또는 모듈이 있습니까? 저는 Spark 용 PySpark API를 사용하고 있습니다. 누군

python apache-spark dataframe pyspark pyspark-sql 2017-09-23

---

0열

1답변

에서 pyspark.sql.types 가져 오기 행 및 pyspark.sql 가져 오기 행

"pyspark.sql.types 가져 오기 행"및 "pyspark.sql 가져 오기 행"의 차이점은 무엇입니까?

python-3.x pyspark row pyspark-sql 2017-09-26

---

1열

1답변

pyspark에서 groupBy 다음에 고유 ID를 계산하는 방법

다음 코드를 사용하여 1 년에 학생을 모집합니다. 목적은 매년 학생의 총 수를 알아 보는 것입니다. from pyspark.sql.functions import col import pyspark.sql.functions as fn gr = Df2.groupby(['Year']) df_grouped = gr.agg(fn.count(col('Studen

python pyspark spark-dataframe pyspark-sql 2017-09-26

---

0열

1답변

다른 DataFrame의 키워드를 사용하여 Spark DataFrame을 필터링하십시오.

저는 PySpark DataFrame에로드 된 뉴스 기사의 대량 데이터 세트를 보유하고 있습니다. 나는 그 본문 텍스트에서 관심있는 특정 단어를 포함하는 기사 집합으로 DataFrame을 필터링하는 데 관심이 있습니다. 현재 키워드 목록은 작지만 미래에 확장 될 수 있으므로 어쨌든 DataFrame에 저장하고 싶습니다. from pyspark.sql imp

python apache-spark pyspark pyspark-sql 2017-09-28

---

0열

1답변

Pyspark Join Tables

저는 Pyspark에서 새로운입니다. 나는 '테이블 A'와 '테이블 B'를 가지고 있으며 '테이블 C'를 얻으려면 모두 가입해야합니다. 누구든지 도와 줄 수 있나요? 내가 가입하는 방법을 모르는 내가 DataFrames을 사용하고 ... 그 모두 함께 올바른 방법으로 테이블 ... 표 A : +--+----------+-----+ |id|year_mon

pyspark pyspark-sql 2017-09-29

---

1열

1답변

Python 롤링 30 일 기간 GROUP By 숫자 별 구분 문자열

'user_name', 'mac', 'dayte'(day)의 데이터 집합이 있습니다. GROUP BY [ 'user_name'] (으)로 그룹화하고 싶습니다. 그런 다음 GROUP BY에서 'dayte'를 사용하여 30 일 동안 진행되는 WINDOW를 만듭니다. 그 롤링 30 일 기간에, 나는 '맥'의 고유 번호를 계산하고 싶습니다. 그리고 그것을 내 데이

python sql pandas pyspark pyspark-sql 2017-09-29

---

0열

1답변

두 개의 다른 항목을 비교하여 새로운 PySpark DataFrame을 생성하는 방법은 무엇입니까?

문자열 필드가 포함 된 Pyspark DataFrame을 검색하고 각각에 표시 할 키워드 문자열을 결정하고 싶습니다. +-----------+----------+ | city| state| +-----------+----------+ | Seattle|Washington| |Los Angeles|California| +-----------+--

python pyspark pyspark-sql 2017-09-29

---

0열

1답변

가장 최근의 스파크 버전을 사용할 때 spark.sql.shuffle.partitions를 설정하는 방법

두 개의 큰 테이블을 조인해야하기 때문에 pyspark 코드에서 spark.sql.shuffle.partitions configure를 재설정하려고합니다. 그러나 다음 코드는 최신 스파크 버전에서 작동하지 않는 오류는 말한다 나는 "spark.sql.shuffle을 재설정하는 방법을 알고 싶습니다 #!/usr/bin/python # -*- coding:

shuffle pyspark-sql 2017-10-01

---

0열

1답변

【pyspark】 org.apache.spark.SparkException : 사용자 정의 함수 ($ anonfun $ 11 : (vector) => vector)를 실행하지 못했습니다

열차 데이터와 테스트 데이터 모두 52 개의 특징을 가지고 있습니다. . 기능을 추출하는 방법은 동일합니다. 프로그램에 구문 오류가 없습니다. 음수 샘플을 임의로 샘플링 할 때 오류가 발생했습니다. 감사 17/10/02 10:28:23 ERROR HiveMetaStore: Failed to delete table directory: file:/E:/tian

pyspark-sql 2017-10-02

---