sbt run으로 실행하려고하는 간단한 Spark 프로젝트가 있습니다. 그러나 그것은 CODEGEN 동안 예외가 발생합니다이 spark-submit으로 발생하지 않습니다 17/12/13 15:19:27 ERROR CodeGenerator: failed to compile: org.codehaus.commons.compiler.CompileException:
Spark 1.X를 사용하여 Excel 파일을 CSV로 변환 할 수있는 도구가 있습니까? https://github.com/ZuInnoTe/hadoopoffice/wiki/Read-Excel-document-using-Spark-1.x Exception in thread "main" java.lang.NoClassDefFoundError: org/zuinn
안녕하세요을 "매개 변수를 사용하지 않는 응용 프로그램" 나는 각 그룹 레이블과 groupValue가 들어 그룹의 여러 인스턴스를 포함하는 열을 생성하고 싶습니다. import org.apache.spark.sql.functions.col
col("groupingCriteria"(0)("label"))
col("groupingCriteria"(0)("
모치토를 사용하여 제네릭 메서드를 조롱하려고합니다. 모의하려고하는 메서드는 generic 형식 T에 대해 ReaderT을 만들고 암시 적 변환을 사용하여 Output 형식을 generic 형식 T 형식으로 변환 할 수 있습니다. 구현은 중요하지 않지만 여기에 방법 자체의 감소이다 : 조롱 할 때 방법 내가 API를 실행하는 경우에 예상대로 작동 /**
*
DataFrame에 collect을 호출하면 Array[Row]이 표시됩니다. 하지만 그 결과에서 DataFrame 또는 일반적으로 Array[Row]으로 돌아갈 수 있는지 궁금하네요. 예를 들어 : import df.sparkSession.implicits._
newDF = rows.toDF()
Spark 1.6.0에서 Dataframe에 대한 열 목록의 형식을 변경하려고합니다. 이 일의 효율적 배치 방법이 있나요 val castedDF = filteredDf.columns.foldLeft(filteredDf)((filteredDf, c) => filteredDf.withColumn(c, col(c).cast("String")))
: 발견 모든
날짜 필드가 "MM/dd/yyyy" 인 데이터 프레임을 문자열로 가지고 있으며 새 필드에서 스칼라에서 요일 값을 추출하고 싶습니다. 나는 다음과 같은 출력을 얻을 수행 할 df.show()
------------
date
-----------
12/14/2017
12/13/2017
: --------------------------------
경험 많은 스칼라/플레이 프로그래머에게 조언을 구합니다. 나는 Play Framework 2.x를 Java와 함께 수년간 행복하게 사용해 왔습니다. 이제는 Play보다 스칼라 버전을 배우고 싶습니다. Play는 Java보다 Scala에서 훨씬 뛰어납니다. 저는 실제로 언어 자체에 깊은 인상을 받았으며 스칼라와 플레이의 연결을 이해합니다. 그러나 나는 스칼라