apache-spark-sql

2열

2답변

스파크 (버전 1.6.1)를 사용하여 두 개의 json 파일을 생성하기 위해 json 파일을 처리 중입니다. 입력 파일의 크기는 약 30 ~ 40G (100M 레코드)입니다. 생성 된 파일의 경우 큰 파일은 10G ~ 15G (30M 레코드), 작은 파일은 약 500M ~ 750M (1.5M 레코드)입니다. 두 결과 파일은 아래의 문제에 직면하고있다 : 그

-2열

1답변

스파크에서 json을 읽는 것

나는 'text'타입의 컬럼을 가지고있는 cassandra에 테이블을 가지고 있습니다. 보유하는 값은 json 유형의 데이터입니다. 그래서 각 레코드에서이 열은 다음과 같은 값을 갖습니다. { "A": "1", "B" "5", "C"를 "3", "D": "12"} 마찬가지로 그 값 것을 것 다음 레코드 추천는 { "A": "12", "B": "52", "C

2열

1답변

스파크 데이터 프레임 계산 된 열

나는 스파크 (스칼라)를 배우고 있으며 파생 된 열이있는 데이터 프레임을 만들고 있습니다. 나는 최선의 방법을 찾아 내려고 노력하고있다. 내 사용 사례가 값에 대한 또 다른 열을 찾아이 개 추출 된 컬럼 - 예를 들어 -가 if (col22 = "USD") then col1 = "US" elseif (col22 = "CDN" the col1 = "CA" e

0열

1답변

MySQL이 쿼리 최적화 및 일반적인 효율성에서 Apache보다 더 효율적입니까?

Apache 스파크가 스파크 데이터 프레임에서 동일한 쿼리와 동일한 테이블 쿼리에 대해 훨씬 느립니다. 그렇다면 MySQL은 어디에서보다 효율적으로 작동합니까? 참고 : 텍스트가 10 열 모두 모두 100 만 개의 행이있는 테이블에서 시도했습니다. JSON 테이블의 크기는 약 10GB입니다 일반적으로 내가 사용시기에 대한 지침을 알고 싶습니다 제온 16 코

2열

1답변

Spark에서 JSON (csv에 저장된 경로)을로드하는 방법은 무엇입니까?

나는 Spark를 처음 사용합니다. Spark에서 .json 파일을로드 할 수 있습니다. 한 폴더에 수천 개의 .json 파일이 있으면 어떻게 될까요? picture of .json files in the folder 그리고 .json 파일을 레이블로 분류하는 csv 파일이 있습니다. picture of csv file 데이터를로드하고 저장하려면 Spark

0열

1답변

스파크에서 파이썬 스크립트를 호출하는 방법?

그래프를 계산하는 metrics.py가 있습니다. 터미널 명령 줄 (python ./metrics.py -i [input] [output])에서 호출 할 수 있습니다. Spark에서 함수를 작성하고 싶습니다. metrics.py 스크립트를 제공 파일 경로에서 실행하도록 호출하고 metrics.py가 인쇄하는 값을 수집합니다. 어떻게하면됩니까? 감사.

0열

1답변

SparkSQL Aggregator : 형식 불일치 오류

Spark 2.0 미리보기와 함께 Databricks Community Edition을 사용하고 있습니다. 내가 할 내가 val g_c1 = teams.groupByKey(_.f1).agg(C1Agg.toColumn).collect 를 사용하는 경우 error: type mismatch; found: org.apache.spark.sql.TypedCol

3열

2답변

Spark 1.3의 SparkSQL에서 데이터베이스를 가리키는 방법

Hive 데이터베이스에서 데이터를 검색하고 결과 집합에서 RDD를 만드는 간단한 스칼라 코드가 있습니다. 그것은 HiveContext와 잘 동작합니다. 코드는 다음과 유사합니다 : val hc = new HiveContext(sc) val mySql = "select PRODUCT_CODE, DATA_UNIT from account" hc.sql("us

18열

1답변

큐브, 롤업 및 groupBy 연산자의 차이점은 무엇입니까?

질문에 많은 질문이 있습니다. 차이점에 대한 자세한 설명서를 찾을 수 없습니다. 큐브 및 그룹 함수 호출을 교환 할 때 다른 결과가 나옵니다. 큐브를 사용한 결과에 대해 자주 그룹화 한 표현식에 많은 null 값이 있음을 알았습니다.

0열

1답변

Spark Dataframe에서 numpy 배열을 수정하는 방법은 무엇입니까?

문제점 : 람다 또는 데이터 프레임 변환 내에 할당이 허용되지 않습니다. 즉, 우리는 일반적으로 데이터 프레임에서 수행되는 모든 구조에 대해 새로운 구조를 생성해야합니다. 예 (파이썬) : 나는 이전에 단순히 그러나 NumPy와 연산이 매우 귀찮은로 증명되고, 목록 및 사전에 지정하지 않고 현재 위치에서 수정 된 데이터를 만들어이 문제를 해결 입수했습니다.