pyspark-sql

2열

2답변

파이썬과 '|'를 사용하여 스파크 데이터 프레임을 파일에 씁니다. delimiter

나는 쿼리로부터 Spark 데이터 프레임을 구성했다. '|'인쇄에 의해 구분 된 모든 정보를 텍스트 파일로 dataframe 내가 무엇을하고자처럼, 다음 +-------+----+----+----+ |Summary|col1|col2|col3| +-------+----+----+----+ |row1 |1 |14 |17 | |row2 |3 |12 |23

python apache-spark pyspark pyspark-sql 2017-01-26

---

1열

1답변

pyspqrk SQL 하이브 테이블의 데이터가 잘못되었습니다

Pyspark에서 25 억 개의 레코드가있는 하이브 테이블을 사용하려고합니다. 테이블에 형식이 잘못되었거나 잘못된 데이터가 있다고 가정합니다. 나는 파이썬 버전 2.6.6과 스파크 버전 1.6.2을 사용하고 있습니다 : from pyspark import SparkContext, SparkConf from pyspark.sql import HiveCont

apache-spark hive pyspark apache-spark-sql pyspark-sql 2017-01-27

---

0열

1답변

java.lang.ClassNotFoundException : com.microsoft.azure.storage.blob.BlobListingDetails 예외

하늘색 방울 저장소에있는 테이블을 pyspark를 통해 읽으려고합니다. 아래에 추가 한 경우에도 예외가 발생합니다. 항아리 pyspark- 항아리. azure-storage-2.0.0.jar hadoop-azure-2.7.0.jar 예외 : py4j.protocol.Py4JJavaError: An error occurred while calling o

azure-storage azure-storage-blobs pyspark-sql 2017-01-30

---

1열

1답변

를 확인하는 방법

가정하자 나는 나를주는 다음과 같은 경우 from pyspark.sql.types import * schema = StructType([ # schema StructField("id", StringType(), True), StructField("ev", ArrayType(StringType()), True), StructFie

apache-spark pyspark spark-dataframe pyspark-sql 2017-02-07

---

1열

1답변

어떻게 스파크 SQL을 사용하여지도 유형의 ArrayType를 최대를받을 수 있나요?

나는 다음과 같은 스파크 DataFrame이 : 내가 가장 높은 점수와 이름을 선택하려면, 각 행에 대해 root |-- id: long (nullable = true) |-- names: array (nullable = true) | |-- element: map (containsNull = true) | | |-- key: string | |

apache-spark pyspark apache-spark-sql pyspark-sql 2017-02-07

---

2열

1답변

SparkSession을 생성 할 때 IllegalArgumentException이 발생합니다.

spark 2.1.0 및 python 2.7에서 pyspark 및 jupyter 노트북을 사용하고 있습니다. 아래 코드를 사용하여 새 SparkSession을 만들려고합니다. from pyspark import SparkContext from pyspark import SparkConf from pyspark.sql import SparkSession

apache-spark pyspark pyspark-sql 2017-02-09

---

0열

1답변

Spark에서 여러 디렉터리의 로그 결합

로그 파일을 만든 날짜를 기준으로 다른 디렉터리에 로그 파일이 있습니다. 예를 내가이 마스터 파일에 대한 집계를 할 수 있도록 pyspark를 사용하여 하나의 단일 RDD 이러한 모든 로그 파일을 결합하고자하는 > /mypath/2017/01/20/... . . . > /mypath/2017/02/13/... > /mypath/2017/02/14/

scala apache-spark pyspark pyspark-sql databricks 2017-02-14

---

0열

1답변

스파크 SQL 검색

내 데이터 구조는 대략 정의된다 기둥. 어떻게해야합니까?

python apache-spark pyspark apache-spark-sql pyspark-sql 2017-02-14

---

0열

1답변

Spark SQL Pyspark 테이블의 값을 테이블의 다른 값으로 업데이트

SQL을 사용하여 쿼리 할 수있는 테이블이 있습니다. Actor1Type1이라는 열과 Actor2Type1이라는 열이 있습니다. 열 Actor1Type1의 셀이 ''이고 Actor2Type1이 ''이 아닌 경우 해당 셀의 값을 Actor2Type1의 값으로 변경하려고합니다. Spark SQL을 처음 접했을 때 Spark SQL을 사용하여이 작업을 수행하는

pyspark spark-dataframe pyspark-sql 2017-02-16

---

1열

1답변

Spark Dataframe을 다른 Dataframe에 중첩시킬 수 있습니까?

스파크에서는 여러 데이터 프레임을 병렬 처리 할 수 ​​있기를 원합니다. 내가 시도하는 방법은 상위 데이터 프레임에 데이터 프레임을 중첩하는 것이지만 구문이 확실하지 않거나 가능한지 확실하지 않습니다. 예를 들어 나는 다음과 같은 2 dataframes 있습니다 DF1을 : +-----------+---------+--------------------+--

apache-spark pyspark pyspark-sql 2017-02-17

---