spark-dataframe

2열

2답변

json 데이터에 액세스하기 위해 JSONSerDe jar 파일을 추가하려고합니다. JSON 데이터를 스파크 작업에서 하이브 테이블로로드합니다. 내 코드는 다음과 같습니다 SparkConf sparkConf = new SparkConf().setAppName("KafkaStreamToHbase"); JavaSparkContext sc = new

2열

2답변

Spark Hadoop 브로드 캐스트를 수신하지 못했습니다.

스파크 제출 작업을 실행하고 "broadcast_58_piece0을 가져 오지 못했습니다."라는 오류 메시지가 나타납니다. 나는 내가 뭘 잘못하고 있는지 정말로 모른다. UDF를 과도하게 사용합니까? 기능이 너무 복잡합니까? 내 목표를 요약하면 pdfs에서 JSON 객체로 base64 인코딩 된 문자열로 저장되는 텍스트를 구문 분석하고 있습니다. 나는 텍스

0열

1답변

Pyspark : 데이터 프레임 열에있는 병합 목록

다음과 같이 데이터 프레임이 있습니다. 그들이 적어도 하나의 동일한 가치를 지니고 있다면 목록을 병합하고 싶습니다. 구성 요소 번호를 사용하는 것이 좋습니다. 예를 들어, [1,2] 및 [1,4,9]은 이 공통 값입니다. 따라서 두 항목 모두 [1,2,4,9]에 병합됩니다. 지금 [1,2] 구성 요소 번호를 와 80 및 을 갖는다 [1,4,9] 컴포넌트 번

0열

1답변

Spark Scala 메서드 DataFrame API의 서명

안녕하세요 저는 스칼라에 대해 더 많이 이해하려고 노력하고 있습니다.이 메서드 시그니처가 약간 분실되었다고 생각합니다. 은 "<이 :"무엇 explode[A <: Product](input: Column*)(f: (Row) ⇒ TraversableOnce[A])(implicit arg0: scala.reflect.api.JavaUniverse.TypeTag

2열

2답변

정렬 후 스파크 데이터 프레임이 정렬되지 않습니다.

스파크 (버전 1.6.1)를 사용하여 두 개의 json 파일을 생성하기 위해 json 파일을 처리 중입니다. 입력 파일의 크기는 약 30 ~ 40G (100M 레코드)입니다. 생성 된 파일의 경우 큰 파일은 10G ~ 15G (30M 레코드), 작은 파일은 약 500M ~ 750M (1.5M 레코드)입니다. 두 결과 파일은 아래의 문제에 직면하고있다 : 그

3열

1답변

변환 GraphFrames ShortestPath PySpark의 DataFrame 행으로 매핑

GraphFrames 함수 shortestPaths에서 Map 출력을 가져 와서 각 꼭지점의 거리를 새 DataFrame의 개별 행으로 평면화하는 가장 효율적인 방법을 찾으려고합니다. 필자는 거리 컬럼을 사전으로 가져 와서 거기에서 판다 데이터 프레임으로 변환 한 다음 다시 스파크 데이터 프레임으로 변환함으로써 매우 서투르게 할 수 있었지만 더 나은 방법이

2열

1답변

스파크 데이터 프레임 계산 된 열

나는 스파크 (스칼라)를 배우고 있으며 파생 된 열이있는 데이터 프레임을 만들고 있습니다. 나는 최선의 방법을 찾아 내려고 노력하고있다. 내 사용 사례가 값에 대한 또 다른 열을 찾아이 개 추출 된 컬럼 - 예를 들어 -가 if (col22 = "USD") then col1 = "US" elseif (col22 = "CDN" the col1 = "CA" e

1열

1답변

데이터 프레임 생성 중 "scala.MatchError : 1201 (java.lang.Integer 클래스)"처리 중

다음 코드를 실행하여 텍스트 파일에서 데이터 프레임을 만듭니다. import org.apache.spark.SparkContext import org.apache.spark.SparkConf import org.apache.spark.sql.{SQLContext, Row} import org.apache.spark.sql.types.{StructTyp

-1열

1답변

Json 필드가 스파크로 변환 될 때 기본적으로 정렬 됨

json 파일에서 데이터 프레임을 만들면 json 파일의 필드가 기본적으로 데이터 프레임에 정렬됩니다. 이 정렬을 피하는 방법? I는이 파일로부터 데이터 프레임을 생성 할 때 {"name":"john","age":10,"class":2} {"name":"rambo","age":11,"class":3} 을 : val jDF = sqlContext.read.j

2열

1답변

Spark에서 JSON (csv에 저장된 경로)을로드하는 방법은 무엇입니까?

나는 Spark를 처음 사용합니다. Spark에서 .json 파일을로드 할 수 있습니다. 한 폴더에 수천 개의 .json 파일이 있으면 어떻게 될까요? picture of .json files in the folder 그리고 .json 파일을 레이블로 분류하는 csv 파일이 있습니다. picture of csv file 데이터를로드하고 저장하려면 Spark