apache-spark-sql

1열

1답변

나는 다음과 같은 스키마에 dataframe가 실패 열 "-uid"? 감사 당신은 이름을 탈출해야

0열

1답변

Spark SQL 데이터 프레임 쓰기 메소드를 사용하여 MySQL 테이블 행 추가하기

저는 Apache Spark SQL의 초보자입니다. 아래는 Spark SQL 응용 프로그램 코드와 쿼리 결과입니다. SparkSession spark = SparkSession.builder().appName("Spark SQL Test") .master("local[*]").getOrCreate(); Properties connecti

0열

2답변

Spark SQL의 전체 스테이지 코드 생성에서 "스테이지"는 Spark Core의 스테이지와 어떤 관련이 있습니까?

Spark SQL (일명 전체 스테이지 코드 겐)의 전체 단계 코드 생성 최적화를 탐구 해 왔으며 Spark Core의 스테이지 의미의 "무대"가 얼마나 많은지 궁금해하고 있습니다. 스파크 작업)? Spark SQL과 Spark Core의 전 단계 코드gen 단계 사이에 기술적 인 관계가 있습니까? 아니면 더 광범위하게 계산에서 "단계"를 나타 내기 위해

0열

1답변

특정 코드 조각을 Spark 1.6.2에서 Spark 2.2.0으로 변환하는 방법은 무엇입니까?

Spark 1.6.2 코드를 Java의 Spark 2.2.0에 전달해야합니다. DataFrame eventsRaw = sqlContext.sql("SELECT * FROM my_data"); Row[] rddRows = eventsRaw.collect(); for (int rowIdx = 0; rowIdx < rddRows.length; ++rowIdx

0열

1답변

Spark SQL은 반복되는 표현식으로 쿼리를 최적화합니까?

는 from pyspark.sql import functions, window f = functions.rank() w1 = window.Window.partitionBy("column") w2 = window.Window.partitionBy("column") col = functions.col("column * 42") 과 dataframe

1열

1답변

sbt 1.0.x에서 "sbt run"을 사용하여 Spark 응용 프로그램을 실행하는 데 실패하는 이유는 무엇입니까?

sbt run으로 실행하려고하는 간단한 Spark 프로젝트가 있습니다. 그러나 그것은 CODEGEN 동안 예외가 발생합니다이 spark-submit으로 발생하지 않습니다 17/12/13 15:19:27 ERROR CodeGenerator: failed to compile: org.codehaus.commons.compiler.CompileException:

0열

1답변

오류 메시지 기능 COL에

안녕하세요을 "매개 변수를 사용하지 않는 응용 프로그램" 나는 각 그룹 레이블과 groupValue가 들어 그룹의 여러 인스턴스를 포함하는 열을 생성하고 싶습니다. import org.apache.spark.sql.functions.col col("groupingCriteria"(0)("label")) col("groupingCriteria"(0)("

0열

1답변

스파크 독립 실행 형 클러스터 튜닝

우리는 8 코어와 50GB 메모리 (단일 작업자)가있는 단일 노드에서 실행되는 2.1.0 독립 실행 형 클러스터를 실행합니다. 우리는 다음과 같은 메모리 설정을 사용하여 클러스터 모드에서 스파크 응용 프로그램을 실행 - 최근 --driver-memory = 7GB (default - 1core is used) --worker-memory = 43GB (a

1열

2답변

Spark DataFrame에서 목록에있는 여러 열 이름을 삭제하는 방법은 무엇입니까?

나는 n의 값을 기반으로 만들어진 동적 목록을 가지고 있습니다. n=3 drop_lst = ['a'+str(i) for i in range(n)] df.drop(drop_lst) 그러나 위의 코드는 작동하지 않습니다. 참고 : 내 용도에는 동적 목록이 필요합니다. 난 그냥리스트를 사용하지 말고, 아래의 할 경우 그것은 df.drop('a0','a1'

-1열

1답변

pyspark 그룹 by sum

4 개의 열이있는 pyspark 데이터 프레임이 있습니다. ID/수/값/X 내가 열 ID, 번호를 GROUPBY 다음 ID와 수에 따라 값의 합으로 새 열을 추가 할 . 나는 아무것도하지 않고 colunms x을 유지하고 싶다. ID/수/값/X/sum_of_value) 사람이 도움을 줄 수 있습니까 : 나는 5 열 데이터 프레임을 원하는 끝에 df= df.