spark-dataframe

0열

1답변

두 배열을 비교하고 PySpark에서 차이를 얻으려면

데이터 프레임에 두 개의 배열 필드가 있습니다. I는 이들 두 개의 배열을 비교하여 동일한 데이터 프레임 배열 (새 항목) 등의 차이를 취득하는 요구가있다. 예상 출력은 : 열 B는 또한 단어 배열 모두에 같은 순서로 될 것이다 열 A의 하위 집합이다. 아무에게도 해결책을 제공 할 수 있습니까?

python pyspark apache-spark-sql spark-dataframe apache-spark-mllib 2017-10-27

---

2열

2답변

spark (필드 이름의 공백)로 json과 case 클래스 매핑

spark Dataset API를 사용하여 json 파일을 읽으려고하는데이 json에는 일부 필드 이름에 공백이 포함되어 있습니다. 이 {"Field Name" : "value"} 내 경우 클래스는 다음 나는 DataFrame로 파일을로드 할 수 있습니다이 case class MyType(`Field Name`: String) 처럼 될 필요가있는 J

scala apache-spark spark-dataframe case-class apache-spark-dataset 2017-10-27

---

0열

1답변

기존의 데이터 프레임에서 일부 선택된 행 세트를 사용하여 새로운 스파크 데이터 프레임 구성하기

필자는 10^8 행 수의 스파크 데이터 프레임 df를 가지고 있습니다. 그 데이터 프레임 위에 rowId로 기본 키로 사용하려는 열을 추가했습니다. 나는 df.withColumn과 같이 명령을 사용하여 동일한 일을했다 ("ROWID", monotonically_increasing_id()) 내가 행의 일부 선택된 수의 새로운 데이터 프레임을 선택하려면 해당

python hadoop pyspark spark-dataframe zeppelin 2017-10-27

---

1열

2답변

은 병합이 PySpark DataFrame의 예기치 않은 결과가

나는 두 PySpark DataFrames (NOT 팬더)가 제공 : df1 = +----------+--------------+-----------+---------+ |pk |num_id |num_pk |qty_users| +----------+--------------+-----------+---------+

python apache-spark pyspark spark-dataframe 2017-10-27

---

1열

1답변

스파크 데이터 프레임 문자열을 월로

하나의 열이 orddate 인 문자열로 데이터 프레임을 가지고 있으며, orddate에서 개월을 추출하려면 새 df에 month이라는 이름으로 새 열을 만드십시오. |orddate| |12/1/10 9:37| |20/3/10 10:37| |09/8/14 4:56| |30/12/11 12:13| |24/5/10 7:27| 변환에 |orddate|

scala apache-spark dataframe apache-spark-sql spark-dataframe 2017-10-27

---

2열

1답변

Spark - 빈 DataFrame에서 시작하는 for 루프 내에서 Dataframes의 조합 수행

"generationId"라는 열과 다른 필드가있는 Dataframe이 있습니다. "generationId"필드는 1에서 N까지의 정수 값 범위를 취하며 (상한값은 N이며 10 ~ 15 사이의 작은 값입니다.) 다음과 같은 방식으로 DataFrame을 처리하려고합니다 (의사 코드). results = emptyDataFrame <=== how do I do

apache-spark spark-dataframe 2017-10-28

---

0열

1답변

PySpark 내가 PySpark을 사용하고

에 큰 스파크 데이터 프레임의 행의 각 부분 집합에지도 작업을하고, 제가하고 싶은 것은 다음과 같다 방법 :는 큰 스파크 데이터 프레임 DF는 모든 레코드를 포함 . 나는이 df에서 'id'열로 나눈 레코드의 각 하위 집합에 대해 병렬 계산을 수행하려고합니다. 다음과 같이 나는 현재의 생각할 수있는 방법은 : 나는 df_agg.rdd.map(my_func)

pyspark spark-dataframe rdd pyspark-sql 2017-10-30

---

-1열

1답변

열 값의 변경을 기반으로하는 파티션 pyspark 데이터 프레임

pyspark에 데이터 프레임이 있습니다. 일부 열 a, b, c가 있다고 말하십시오. 열의 값이 변경되면 그룹으로 데이터를 그룹화하려고합니다. 내가 제대로 이해하고 당신이 때마다 열 A 값을 변경하는 별개의 그룹을 만들려면 A B 1 x 1 y 0 x 0 y 0 x 1 y 1 x 1 y 이 (1x,1y),(0x,0y,0x),(1y,1x,

python dataframe pyspark spark-dataframe 2017-10-30

---

1열

2답변

Dataframe은 해당 열의 첫 번째 및 마지막 값을 가져옵니다.

하위 그룹 내에서 해당 열의 첫 번째 값을 가져올 수 있습니까? import org.apache.spark.sql.SparkSession import org.apache.spark.sql.functions._ import org.apache.spark.sql.expressions.{Window, WindowSpec} object tmp {

scala apache-spark apache-spark-sql spark-dataframe 2017-10-30

---

0열

1답변

스파크 데이터 프레임에서 아무 기능도 호출 할 수 없습니다.

다른 데이터 프레임을 결합한 결과로 스파크 데이터 프레임을 만들었습니다. 이제 데이터 프레임에서 모든 메서드 호출이 실패합니다. 특정 오류가 발생하지 않습니다. ExecutorLostFailure, 슬레이브 손실, 컨테이너가 종료 된 노드에서 릴리스 된 것과 같은 오류 만. 데이터 프레임에 show()를 (를) 성공적으로 호출 할 수 없습니다. 쇼() Ex

scala apache-spark spark-dataframe 2017-10-30

---