apache-spark-sql

4열

2답변

내 데이터는 다음과 같습니다 [null,223433,WrappedArray(),null,460036382,0,home,home,home] 가 어떻게이 COL3이 불꽃 SQL 쿼리에 비어있는 경우 확인합니까? 나는 폭발하려고했지만, 그렇게하면 빈 배열 행이 사라집니다. 어떤 사람들은 저에게 이것을 할 수있는 방법을 제안 할 수 있습니까? 는 I 시도 :

0열

1답변

SQL 서버에서 테이블을 읽는 데 JDBC를 사용하는 것과 비교하여 SparkSQL을 사용하여 Hive 테이블에 액세스하면 어떤 이점을 얻을 수 있습니까?

Hadoop 기반 플랫폼 용 스토리지 파트를 디자인하는 동안이 질문이 생겼습니다. 데이터 과학자가 이미 관계형 데이터베이스 (예 : Azure 가상 머신의 SQL 서버)에 저장된 테이블에 액세스 할 수있게하려면 SQL Server에서 테이블을 가져 오면 특별한 이점이 있습니다 HDFS (예 : WASB)에 추가하고 그 위에 하이브 테이블을 만드시겠습니까?

2열

2답변

Spark SQL - 모든 AND 계산 열을 선택 하시겠습니까?

이것은 멍청한 질문입니다. 죄송합니다. Spark에서는 다음과 같이 select를 사용할 수 있습니다. df.select("*"); //to select everything df.select(df.col("colname")[, df.col("colname")]); //to select one or more columns df.select(df.col("

1열

1답변

Spark Hive - 윈도우 함수가있는 UDFArgumentTypeException입니까?

나는 다음과 같은 DF 있습니다 WindowSpec window = Window.partitionBy(df.col("id")).orderBy(df.col("eventdate").desc()); df.select(df.col("*"),rank().over(window).alias("rank")) //error for this line .filte

15열

4답변

spark 데이터 프레임 쓰기 방법의 특정 파티션 덮어 쓰기

spark에있는 모든 파티션 대신 특정 파티션을 덮어 쓰려고합니다. 나는 다음과 같은 명령을 시도하고있다 : df.write.orc('maprfs:///hdfs-base-path','overwrite',partitionBy='col4') 곳 DF 덮어 쓸 수있는 증분 데이터를 가지고 dataframe입니다. hdfs-base-path에는 마스터 데이터가

2열

1답변

스파크 : 누락 된 값이있는 DataFrame의 상관 관계 계산

현재 데이터의 약 20 %가 null 값인 DataFrame이 두 개인 경우. 하나의 열과 다른 모든 열의 Pearson 상관 관계를 계산하고 DataFrame의 상위 10 개 열의 columnId를 반환합니다. Pearson 상관 함수에서 R의 pairwise.complete.obs 옵션과 유사한 쌍 삭제를 사용하여 Null을 필터링하려고합니다. 즉, 어

1열

1답변

는 RDD/DataFrame

의 열 변형 I이 라인. 내가 어떻게 할 수 있습니다 : 스키마가 고쳐지는 것이 아니라 ("데이터"속성이 항상있을 것임을 알고 있음) 원래의 DataFrame에 암호화 기능을 적용하거나 새로운 DataFrame의 각 행을 해당 구조체에 삽입하여 전에부터 행?

6열

1답변

스파크 : 파일 대신 inputStream을 읽으십시오.

자바 응용 프로그램에서 SparkSQL을 사용하여 구문 분석을 위해 Databricks를 사용하여 CSV 파일을 처리합니다. 내가 처리하는 데이터는 다양한 소스 (원격 URL, 로컬 파일, Google Cloud Storage)에서 비롯되며, 모든 것을 InputStream으로 변환하여 데이터를 구문 분석하고 처리 할 수있는 습관이 있습니다. 온. Spar

2열

2답변

Hive 컨텍스트에서 Pyspark를 사용하여 Java로 작성된 하이브 UDF 호출하는 방법

하이브에서 getLastProcessedVal2 UDF를 사용하여 테이블에서 최신 파티션을 가져옵니다. 이 UDF는 java로 작성됩니다. 하이브 컨텍스트를 사용하여 pyspark에서 동일한 UDF를 사용하고 싶습니다. dfsql_sel_nxt_batch_id_ini=sqlContext.sql(''' select l4_xxxx_seee.**getLastPr

1열

1답변

이 임시 테이블을 만드는 대신 데이터 프레임에서 SELECT를 사용할 수 있습니까?

내가 현재 사용하고 있습니다 : +---+-------------------------+-------------------------------------------------------------------------------------------------------------------------------------------------------