apache-spark-sql

-2열

1답변

나는 전체 jsons (top/total)에서 각 placeName에 대한 백분위 수를 찾을 수 있도록 Total (전체 개수) 및 Top Elements (필터 후의 개수)를 얻으려고합니다. 평가> 3 : // sc : An existing SparkContext. val sqlContext = new org.apache.spark.sql.SQL

0열

1답변

스파크 카산드라 커넥터 : SQLContext.read + SQLContext.write 대 수동 구문 분석 및 삽입 (JSON -> 카산드라) 난 그냥 아파치 스파크와 아파치 카산드라를 조사하기 시작</p> <p>

좋은 아침. 첫 번째 단계는 실제 간단한 사용 사례입니다. 고객 + 점수. 카산드라 테이블에는 고객이 PrimaryKey로 있습니다. 카산드라는 로컬에서만 실행됩니다 (클러스터가 전혀 없습니다!). SparkJob (독립 실행 형 로컬 [2])이 JSON 파일을 구문 분석 한 다음 전체 내용을 Cassandra에 쓰고 있습니다. 먼저 용액 val conf

3열

1답변

Pyspark 사용자 정의 열 계산

Pyspark에서 분류 자의 입력 데이터를 준비 중입니다. SparkSQL에서 aggregate 함수를 사용하여 평균 및 분산과 같은 기능을 추출했습니다. 이들은 활동, 이름 및 창별로 그룹화됩니다. Unix 시간 소인을 10000으로 나눈 값으로 창을 계산하여 10 초의 시간 창으로 구분합니다. sample = sqlContext.sql("SELECT a

4열

1답변

datetime 개체와 8601 문자열을 비교하면 잘못된 결과가 나타납니다. 왜 허용됩니까?

은 어쩌면 내가 뭔가를 분명 잃었지만, 날짜 비교처럼 떨어져 여기에 보이는 : 내가 얻을 from pyspark import SparkContext from pyspark.sql import SQLContext import pandas as pd import datetime sc = SparkContext() sqlContext = SQLCon

0열

2답변

Spark CLI의 HiveContext 초기화

기본적으로 명령 줄 인터페이스에서 스파크를 초기화 할 때 SparkContext는 sc와 SQLContext로 sqlContext로 초기화됩니다. 하지만 SpacContext에서 지원하지 않지만 HiveContext에서 지원하는 collect_list 함수를 사용하고 있기 때문에 HiveContext가 필요합니다. HiveContext는 SparkConte

2열

1답변

pyspark 데이터 프레임에서 쉼표로 구분 된 문자열을 배열로 변환

나는 ev가 문자열 유형 인 아래 데이터 프레임을 가지고 있습니다. >>> df2.show() +---+--------------+ | id| ev| +---+--------------+ | 1| 200, 201, 202| | 1|23, 24, 34, 45| | 1| null| | 2| 32| | 2| null| +---+--

1열

1답변

Spark Dataframe 마루 쓰기 (스칼라)에 대한 열 이름 유효성 검사

결국 마루판 형식으로 쓰여지는 JSON 이벤트 스트림에서 변환 된 데이터 프레임을 사용하여 이벤트를 처리하고 있습니다. 그러나 JSON 이벤트 중 일부는 {{}() \ n \ t =을 고려하기 때문에 데이터 프레임에서 이러한 이벤트를 로깅하고 필터링/[1] 아래에 나열된 바와 같이 Parquet 스키마 (CatalystSchemaConverter)의 특수

1열

2답변

databricks csv api를 사용하지 않고 spark DataFrames로 직접 CSV 파일을 읽는 방법?

databricks를 사용하지 않고 spark DataFrames로 CSV 파일을 직접 읽는 방법 csv api? databricks csv api가 있지만 API를 사용할 수 없다는 것을 알고 있습니다. cols (0) 위치에 따라 cols를 사용하고 매핑하는 사례 클래스가 있습니다. 그러나 문제는 내가 22 개 이상의 coloumns를가집니다. 나는 케

1열

1답변

이 값은 자바에서 아파치 불꽃을 사용하여

4열

2답변

형식 오류는 'JavaPackage'개체가 호출되지 않습니다

나는 다음과 같은 오류가있어 스파크의 SQL API hiveContext.sql() from pyspark import SparkConf,SparkContext from pyspark.sql import SQLContext,HiveContext conf = SparkConf().setAppName("spark_sql") sc = SparkConte