apache-spark-sql

0열

1답변

그래서, 내가 좋아하는 UserBehavior라는 클래스가 있습니다 public class User_Behavior { private String userName; private String itemId; private double bhvCnt;} 내가 후 감소, 같은이 모든 bhvCnt을 해당 itemId 및 bhvCnt을 선택하고 싶었 데이터

1열

2답변

Dataframe은 해당 열의 첫 번째 및 마지막 값을 가져옵니다.

하위 그룹 내에서 해당 열의 첫 번째 값을 가져올 수 있습니까? import org.apache.spark.sql.SparkSession import org.apache.spark.sql.functions._ import org.apache.spark.sql.expressions.{Window, WindowSpec} object tmp {

-1열

1답변

psyaprk의 데이터 프레임을 사용하여 withColumn을 얻는 방법?

내가 2017-03-01을 변경 2017-03-01 02:00:00처럼 GT는 싶어하지만 첫 번째 사진은 2021=2017+3+1이고, 두 번째 사진은 당신은 날짜에 타임 스탬프를 변환 할 to_date을 사용할 수 있습니다 null

0열

2답변

스트리밍 DataFrame을 일반 배치 DataFrame으로 변환하는 방법?

많은 작업을 수행하기 위해 스트리밍 데이터 프레임을 일반 데이터 프레임으로 변환하고 싶습니다. count.distinct 실시간 분석을위한 복잡한 쿼리. spark에서 정상적인 데이터 프레임으로 스트리밍 데이터 프레임을 변환하는 것에 대해 알고 싶다면 제안하십시오.

1열

2답변

Spark-SQL : 현재 작업자 노드 디렉토리의 파일에 액세스합니다.

spark-sql을 사용하여 파일을 읽어야하고 파일이 현재 디렉토리에 있습니다. 이 명령을 사용하여 HDFS에 저장된 파일의 목록을 압축 해제합니다. val decompressCommand = Seq(laszippath, "-i", inputFileName , "-o", "out.las").!! 파일은 현재 작업자 노드 디렉토리에 출력하고, 스칼라를 통

0열

1답변

java.lang.NoClassDefFoundError : 클래스를 초기화 할 수 없습니다 - spark/scala

spark/scala 개발에 처음입니다. 내 프로젝트를 빌드하기 위해 maven을 사용하고 있으며 IDE는 intelliJ입니다. 하이브 테이블을 쿼리 한 다음 결과 데이터 프레임을 반복하려고합니다 (foreach 사용). 내가 test_table의 각 address에 대한 places의 여러 값이 있는지 확인하기 위해 노력하고, 다른 열을 얻기 위해 동일

1열

1답변

복잡한 데이터 유형 (배열)을 csv에서 snappydata로 가져 오기

이전 question에서 배열을 삽입 할 수있는 방법을 알게되었습니다. 이제 테이블에 데이터 양을 삽입하고 싶습니다. 이 reference의 snappydata에서 테이블에 많은 양을 가져올 수있었습니다. 하지만 Array와 같은 복잡한 데이터 유형을 가져 오려고하면 지원되지 않습니다. CSV sample: 'name',1,[1,2,4] or 'nam

1열

1답변

루프의 출력을 데이터 프레임에 작성하십시오.

이 스칼라 코드를 작성하여 Spark DataFrame의 각 행에 대해 작업을 수행했습니다. 기본적으로 이들은 내가 수행하는 단계입니다 1. I convert the DataFrame into an array 2. Iterate through the array and perform calculations and get the output in an arr

0열

1답변

SparkSQL rdd 파티션이 캐시 메모리에 맞지 않습니다.

하이브 테이블에서 데이터를 읽는 SparkSQL 쿼리를 실행하려고하는데 특정 임계 값을 초과하면 실패합니다. 매직 넘버의 일종 인 50 만 행 val 500k = spark.sql("""select myid, otherfield, count(*) as cnt from mytable group by otherfield, myid order by cnt de

1열

1답변

Spark Dataset 폴더 안에 헤더가있는 여러 CSV 파일을로드하고 모든 파일의 헤더가 같지 않은 경우 보고서가 일치하지 않음

hdfs 디렉토리에서 Spark 2.1.0 API를 사용하여 spark DataSet으로 여러 csv 파일을로드하려고합니다. val csvData = spark.read.option("header", "true").csv("csvdatatest/") "csvdatatest"폴더에는 여러 개의 csv 파일이 있습니다. Spark은 첫 번째 파일에서만 헤더