apache-spark-sql

0열

1답변

toDF TempTable에서 일부 분석을 저장하려고하는데 다음 오류가 발생합니다. ": 215 : 오류 : toDF가 Double의 멤버가 아닙니다." 카산드라 테이블의 데이터를 읽고 있는데 계산 중입니다. 이 결과를 임시 테이블에 저장하려고합니다. 저는 스칼라를 처음 접했고, 누군가 제발 저를 도울 수 있습니까? 내 코드 case class Consum

2열

1답변

배열의 데이터 집합 (1.6.1)

그래서 데이터 집합 API를 사용하기 위해 노력하고있는 프로젝트를 다시 포맷하려고 시도했으며 인코딩 오류와 관련된 몇 가지 문제가있었습니다. 필자가 읽은 바에 따르면, 데이터 집합에 원시 값의 배열을 저장할 수 있어야한다고 생각합니다. 그러나 다음 클래스는 인코딩 오류를 제공합니다. case class InvertedIndex(partition:Int, d

0열

1답변

SQLContext :: IndexError가있는 Apache SPARK

에 제공된 기본 예제를 실행하려고합니다. Apache SPARK 설명서의 부분을 리플렉션을 사용하여 유추합니다. 내가 클라우 데라 빠른 VM (CDH5) 내가 실행하기 위해 노력하고있어 예에서이 작업을하고 있어요 은 다음과 같습니다 : # sc is an existing SparkContext. from pyspark.sql import SQLContex

0열

1답변

다른 SQL의 열 하위 문자열

다음 표가 있습니다. 나는 스파크 SQL 함께 일하고 있어요 +--------------------+-----+--------+ |fardet_cd_fare_basis|part2| num| +--------------------+-----+--------+ | MEO00RIG| 00R| MEO| | MEO00RIG| RIG| MEO00|

2열

1답변

Spark SQL Thrift Server에서 캐시 된 데이터의 파티션 수 지정

HDFS에 저장된 40MB에서 160MB 크기의 약 3,000 개의 쪽모 파일 (확장명은 .gz.parquet)이 있습니다. HDFS 블록 크기는 128MB입니다. 모든 파일의 전체 크기는 약 360GB입니다. 모든 파일이 같은 디렉토리에 있습니다. 즉, 데이터가 분할되지 않았습니다. 16 개의 노드에서 Spark SQL Thrift Server를 시작하고

0열

1답변

스파크 dataframe는 : 유형 장치에 대한 스키마

내가 스파크 1.5.0을 사용하고 지원되지 않으며 나는이 문제를 가지고 : 당신이 열 설명 이있다 볼 수 다음 val df = paired_rdd.reduceByKey { case (val1, val2) => val1 + "|" + val2 }.toDF("user_id","description") 이, DF에 대한 샘플 데이터입니다 형식 (t

1열

2답변

사용하여 직선을 통해 내가 하이브에서 UDF를 등록 불꽃

에서 하이브 등록 된 UDF를 사용하여 다음과 같은 : 예상 반환 SELECT udfTest(name) from myTable; 을 다음과 같이는 CREATE FUNCTION udfTest AS 'my.udf.SimpleUDF' USING JAR 'hdfs://hostname/pathToMyJar.jar' 그 때 나는 직선에서 사용할 수 있습니다 결

-1열

1답변

오류 : 값이 선택은 내가 파일의 모든 JSON 객체의 등급 평균 얻기 위해 노력하고 org.apache.spark.sql.Row

의 구성원이 아닙니다. 파일을로드하고 데이터 프레임으로 변환되었지만 평균을 파싱하는 동안 오류가 발생했습니다. 샘플 요청이 우리를 위해 평균에 대한 = 2.8 { "country": "Egypt", "customerId": "Egypt009", "visited": [ { "placeName": "U

0열

2답변

스파크 : 스파크 처리를위한 생산 작업을 만드는 방법

spark-sql을 사용하여 작업을 실행하고 생산 명령은 무엇이되어야합니까? 생산 작업 명령으로 spark-sql을 사용할 수 있습니까? 감사합니다, Virendra

3열

4답변

다른 데이터 프레임의 두 열을 나누기

나는 사용자 로그 파일에 대한 탐색 데이터 분석을 위해 Spark을 사용하고 있습니다. 내가하고있는 분석 중 하나는 호스트 당 일일 평균 요청입니다. 따라서 평균을 계산하려면 DataFrame의 총 요청 열을 DataFrame의 고유 한 요청 열로 나누어야합니다. total_req_per_day_df = logs_df.select('host',dayofmo