apache-spark-sql

2열

2답변

spark를 사용하여 CSV 파일에서 내림차순을 받고 정수로 반올림하고 싶습니다. zhvi. 그러나 코드 끝에서 sort(desc("Zhvi"))을 시도해보십시오. 그것은 항상 저에게 오류를줍니다. 내 결과 from pyspark.sql.functions import col, desc stateByZhvi = home.select('State','Zhvi

3열

1답변

비대칭 조인 (및 장기 실행 작업)을 피하기 위해 데이터 세트를 고르게 분산시키는 방법은 무엇입니까?

나는 databricks 노트북에 Spark dataset API를 사용하여 응용 프로그램을 작성 중입니다. 2 개의 테이블이 있습니다. 하나는 15 억 개의 행과 250 만 개의 행입니다. 두 테이블 모두 원거리 통신 데이터를 포함하며 조인은 국가 코드와 숫자의 처음 5 자리를 사용하여 수행됩니다. 출력은 5 백 5 십억 행입니다. 문제는 데이터를 왜곡

2열

1답변

하이브의 기존 테이블에 액세스하는 방법?

스파크 응용 프로그램에서 HIVE에 스칼라로 액세스하려고합니다. 내 코드 : val hiveLocation = "hdfs://master:9000/user/hive/warehouse" val conf = new SparkConf().setAppName("SOME APP NAME").setMaster("local[*]").set("spark.sql.ware

0열

1답변

Apache Spark with Java, Oracle에서 Varchar2의 날짜 유형으로 변환하지 못함

모든 필드가 varchar 유형 인 하나의 Oracle 테이블에서 데이터를 읽고 유사한 필드가있는 다른 Oracle 테이블에 저장하는 것이 좋습니다.하지만 이상적으로는 올바른 데이터 유형. 이 작업은 java에서만 수행해야합니다. create table employeeStr ( name varchar2(50), empid varchar2(50), age

0열

1답변

Spark : 조인 작업을 기반으로 Dataframe 업데이트

각 날짜의 최신 데이터 프레임이 있습니다. 매일 새 qte와 새 ca를 이전 날짜에 추가하고 날짜를 업데이트해야합니다. 그래서 이미 존재하는 것을 업데이트하고 새로운 것을 추가해야합니다. 여기 내가 마지막에하고 싶은 것을 예 : val histocaisse = spark.read .format("csv") .option("header"

2열

1답변

Zeppelin 노트북이 수동으로 실행되지 않음

제 플 린 노트북에서 스파크 코드를 대화식으로 실행하지 않고 실행할 수있는 방법은 무엇입니까? 나는 특정한 것을 찾고 있거나 누군가가 올바른 방향으로 나를 가리킬 수 있다면. 또는 제 플린 (zeppelin) 노트에있는 스파크 코드를 제출하는 다른 방법. 내가 spark-submit을 사용할 수없는 이유는 보안상의 이유로 커맨드 라인 액세스가 없다는 것입니

1열

1답변

점화 트랜스 Dataframe Column2raw RDD

를 사용하지 않고 나는 아래 형식의 JSON 파일이 {"sku-1":{"att-a":"att-a-7","att-b":"att-b-3","att-c":"att-c-10","att-d":"att-d-10","att-e":"att-e-15","att-f":"att-f-11","att-g":"att-g-2","att-h":"att-h-7","att-i":"att-

5열

1답변

SparkSession 초기화 오류 - spark.read를 사용할 수 없습니다.

csv를 읽고 하이브 테이블에 저장하는 독립 실행 형 PySpark 프로그램을 만들려고했습니다. Spark 세션, 회의 및 컨텍스트 개체를 구성하는 데 문제가 있습니다. 여기 내 코드입니다 : from pyspark import SparkConf, SparkContext from pyspark.sql import SQLContext, SparkSessio

1열

2답변

스파크 : 스칼라 어떤 변환

나는 스파크와 스칼라를 처음 사용합니다. 그래서 나는 타입 변환 중에 몇 가지 문제에 직면했다. 나는 scala> val wa=queryResult.first.get(1) wa: Any = WrappedArray(2000.0, 2000.0, 2000.0, 2000.0, 2000.0, 2000.0, 2000.0, 2000.0, 2000.0, 2000.0)

1열

1답변

Java App 외부에서 내 임시 테이블 쿼리

spark (local[*])을 시작으로 Java 응용 프로그램을 만들고이 파일을 사용하여 CSV 파일을 Dataset<Row>으로 읽고 createOrReplaceTempView으로 임시보기를 만듭니다. 이 시점에서 SQL을 활용하여 내 응용 프로그램 내에서보기를 쿼리 할 수 있습니다. 개발 및 디버깅 목적으로 응용 프로그램 외부에서 대화식으로 쿼리를