apache-spark-sql

2열

1답변

SparkSQL을 사용하여 BST를 작성하려고합니다.이 작업은 기본 SELECT 문에서 다른 SELECT 문을 사용하여 쉽게 수행 할 수 있지만 SparkSQL은 SELECT 열에서 SELECT를 지원하지 않습니다. BST의 그래픽 표현은 아래와 같다 : 입력 BST.Goal의 행 - 열 표현 입력 테이블 데이터를 사용하여 출력 테이블을 생성하는 것이다.

2열

1답변

sbt 어셈블리가있는 uber-jar로 "ClassNotFoundException : 데이터 소스를 찾을 수 없습니다 : jdbc"로 인해 Spark 어플리케이션이 실패하는 이유는 무엇입니까?

sbt 1.0.4를 sbt-assembly 0.14.6과 함께 사용하여 Spark 응용 프로그램을 어셈블하려고합니다. 하게 IntelliJ IDEA 또는 spark-submit 출시 때 스파크 응용 프로그램이 잘 작동하지만 내가 (윈도우 10에 cmd) 명령 줄을 사용하여 조립 동네 짱 항아리를 실행하는 경우 : java -Xmx1024m -jar my-a

1열

2답변

HDFS에 데이터를 저장하는 형식은 무엇입니까?

DataFrame을 만든 후 avro, csv 또는 쪽모 세공 형식으로 저장할 수 있습니다. Hadoop HDFS에서 데이터를 저장할 수있는 다른 형식은 dataframe 또는 rdd에서 사용할 수 있습니까? What Is Apache Hadoop?에서

1열

1답변

스파크 버킷 팅 및 collect_set 집계

저는 Spark-2.2를 사용하고 있습니다. 나는 스파크의 버킷을 Pocing하고 있습니다. 내가이 요청에 의한 그룹의 설명 실행하고있어 +--------------------+--------------------+-------+ | col_name| data_type|comment| +--------------------+------------

2열

2답변

열을 16 진수 문자열로 변환하는 방법은 무엇입니까?

Long 데이터 형식으로 변환하려는 16 진수 코드가있는 Icao 열이있는 DataFrame이 있습니다. Spark SQL에서 어떻게이 작업을 수행 할 수 있습니까? | Icao|count| +------+-----+ |471F8D|81350| |471F58|79634| |471F56|79112| |471F86|78177| |471F8B|7530

0열

1답변

Databrics spark API를 사용하여 xml 처리를위한 스키마 옵션을 계발하십시오

"0001546"과 같은 문자열 값을 가진 xml을 처리해야합니다. 데이터 프레임 xml API를 사용하여 데이터 프레임에로드하면 실제 문자열 값이 double 유형으로 변환됩니다. 이중 값이 "0001546"에서 1546으로 전체 값을 변경하는 문제가 있습니다. 이것은 숫자에 대한 문자열의 암시 적 유형 캐스팅 때문에 발생하지만 이런 행동을 원하지 마라.

1열

1답변

는 <p></p> 우리는 기존의보고 솔루션 (SAP) RDBMS에서 프로 시저를 실행 (JDBC 연결을 사용) 한

안녕하세요, 아래 우리는, 가능한 해결책을 제안 해주십시오 가지고있는 시나리오 하이브에서 SQL 프로 시저를 실행 사용자 입력을 기반으로 보고서를 생성합니다. 이제 데이터 소스로 RDBMS에서 하이브로 이동할 계획입니다. 하이브에 연결하고 JDBC 연결을 사용하여 프로 시저 (HPLSQL 또는 Oracle 프로 시저와 동등한 작업을 수행하는 UDF)를 실행

-1열

1답변

대체 재귀 스파크 제출 작업

을 실행하기 위해 아래 나에 대한 제안을해야 시나리오, 시나리오입니다. 스파크 프로그램은 하이브의 데이터에서 ETL 연산과 복잡한 결합을 수행해야합니다. Nifi에서 수집 한 데이터가 연속 스트리밍이므로 Spark 작업을 가져온 데이터에서 1 ~ 2 분마다 실행하고 싶습니다. 어떤 것이 가장 좋은 옵션입니까? 스케줄러를 사용하여 1 분마다 촉발 작업을 트리

0열

1답변

Error : com.mongodb.MongoCursorNotFoundException : MongoDB에서 Spark로 읽는 중

2 억 3 천 4 백만 레코드로 Spark에서 MongoDB의 모음을 읽으려고합니다. 1 필드 만 원한다. case class Linkedin_Profile(experience : Array[Experience]) case class Experience(company : String) val rdd = MongoSpark.load(sc, ReadCon

0열

2답변

스파크 분석 전에 FTP에서 큰 텍스트 파일 읽기

저는 5GB가 넘는 매우 큰 파일을 분석하기 위해 독립형 모드로 스파크를 내 시스템에 설치하고 있습니다. 먼저 FTP에서이 파일을 내 로컬 e.g c:\spark\analysis\bigfile.txt에 복사해야합니다. 분석을 위해 스파크로 파일을로드 할 수 있습니다. 제 질문은 어떻게 메모리에서 벗어나지 않고 효율적으로 큰 파일을 복사 할 수 있습니까? 스