pyspark-sql

0열

1답변

Jupyter 노트북을 사용하여 Spark SQL을 사용하여 4 억 개의 행 풀기

저는 Spark를 처음 접했고 결과 집합에 4 억 개의 행이있는 Spark SQL을 실행하려고했습니다. Jupyter 노트북에서 Spark SQL을 실행하고 있습니다. Azure HDInsight에서 Spark를 사용하고 있습니다. 집행 인의 3 번호 - - 5 집행자 메모리 - 4,098메가바이트 을만큼 나는 실행으로 집행자 당 코어의 번호 : 스파크 클

scala hdinsight pyspark-sql 2017-04-28

---

0열

1답변

pyspark 데이터 프레임에서 맵 배열을 단일 맵으로 결합

(그룹화 된) pyspark 데이터 프레임에서 맵의 열을 단일 맵으로 집계하는 collect_list 또는 collect_set과 유사한 기능이 있습니까? 예를 들어,이 기능은 다음과 같은 문제가있을 수 있습니다 : >>>df.show() +--+---------------------------------+ |id| map | +--+-

pyspark spark-dataframe pyspark-sql 2017-05-01

---

0열

1답변

"spark.akka.framesize"에서 "단계 실패로 인해 중단 된 작업"을 해결하는 방법은 무엇입니까?

나는 많은 열 작업을 수행하는 스파크 프로그램을 가지고 있으며 그 결과를 메모리로 가져 오기 위해 .collect()을 호출한다. 더 많은 전체 스택 추적 여기에 볼 수 있습니다 An error occurred while calling z:org.apache.spark.api.python.PythonRDD.collectAndServe. : org.apa

apache-spark pyspark pyspark-sql 2017-05-15

---

2열

1답변

PySpark : 다른 열 값이 조건

나는 두 개의 열 아이디와 순위가있는 PySpark Dataframe이 만족 할 때 각 행에 대해 +---+----+ | Id|Rank| +---+----+ | a| 5| | b| 7| | c| 8| | d| 1| +---+----+ , 내가 함께 이드 교체 찾고 있어요, 열 값을 수정 "기타" 내가 설명하는 의사 코드를 사용하는 경우 순위

apache-spark pyspark apache-spark-sql spark-dataframe pyspark-sql 2017-05-15

---

0열

2답변

어떻게 행에서 열을 생성하고

내가 다음 dataframe에 pyspark 작업을 사용하여 파이썬 스파크에서 subsequesnt 열 값을 입력 : +---------+----+--------------------+-------------------+ | id| sid| values| ratio| +---------+----+--------------------+----

python apache-spark pyspark pyspark-sql 2017-05-19

---

0열

1답변

pyspark에서 스파 스 벡터의 행 곱하기 SQL DataFrame

SQL 데이터 프레임의 열 요소를 곱하기가 어렵습니다. sv1 = Vectors.sparse(3, [0, 2], [1.0, 3.0]) sv2 = Vectors.sparse(3, [0, 1], [2.0, 4.0]) def xByY(x,y): return np.multiply(x,y) print(xByY(sv1, sv2)) 위의 작동합니다

python apache-spark pyspark pyspark-sql 2017-05-19

---

0열

2답변

hadoopish 폴더에서 마루 파일을로드하는 방법

나는 데이터 프레임 자바에서 이런 식으로 저장하면 ... : 다수의 파일과 df.write().parquet("myTest.parquet"); ..., 다음은 hadoopish 방법에 저장됩니다 (폴더). 데이터 프레임을 단일 파일로 저장할 수 있습니까? collect()을 시도했지만 도움이되지 않습니다. load_df = sqlContext.read.

java python apache-spark apache-spark-sql pyspark-sql 2017-05-21

---

0열

2답변

특정 상태 (열 값)가있는 행에 대한 시간 분포

로그가 기록 된 Pyspark 데이터 프레임과 각 행이 기록 될 때의 시스템 상태에 해당하며 그룹 번호가 있습니다. 나는 각 그룹이 건강에 해로운 상태에있는 기간의 길이를 찾고 싶다. 예를 들어 이 내 테이블 인 경우 : TIMESTAMP | STATUS_CODE | GROUP_NUMBER ------------------------------------

apache-spark pyspark apache-spark-sql spark-dataframe pyspark-sql 2017-05-23

---

0열

1답변

pySpark에서 createOrReplaceTempView를 실행 한 후 열의 데이터 유형을 유지 보수하는 방법은 무엇입니까?

나는 그 데이터 유형 orders.printSchema() root |-- order_id: long (nullable = true) |-- user_id: long (nullable = true) |-- eval_set: string (nullable = true) |-- order_number: short (nullable = true) |-

pyspark spark-dataframe pyspark-sql 2017-05-23

---

0열

2답변

데이터 프레임에서 spast saveastable 추론 스키마가 있습니까?

Spark 2.0을 사용하고 있습니다. 요구 사항은 데이터 프레임에 값을 선택하여 새 테이블을 만드는 것입니다. (모드 = '덮어'hive_table_name 형식 = '마루') df.write.saveasTable로 DF를 쓰는 동안 오류이다 클라이언트로 인증 할 수있다 : TOKEN, KERBEROS] 호스트 세부 정보 : 로컬 호스트는 "some-ip

apache-spark pyspark apache-spark-sql spark-dataframe pyspark-sql 2017-04-20

---