apache-spark

0열

1답변

I 다음 점화 2.2 DataFrame 및 스칼라 2.11.8 가지고 G1 및 G2 : df = sqlCtx.createDataFrame( [(560,9410,"web","G1",0,5), (290,1430,"web","G1",0,3), (470,1370,"web","G2",0,18), (290,1430,"web","G2"

1열

1답변

다중 회귀 측정 지표를 한 번에 가져 오기

회귀 분석을 위해 ML 패키지를 사용하고 있으며 데이터에 대해 좋은 결과를 얻습니다. 내가 지금 여기의 예에서 제안하는 일을하고있어, 지금과 같이 한 번에 여러 측정을 얻으려고 : val evaluator = new RegressionEvaluator() .setLabelCol("label") .setPredictionCol("predic

0열

1답변

파이프 라인 된 RDD를 pyspark의 Dataframe으로 변환하는 중 오류가 발생했습니다.

아래의 파이프 라인 된 RDD를 데이터 프레임으로 변환하려고합니다. - 파이프 라인 RDD> user_rdd ['new_user1', 'new_user2', 'Onlyknows', 'Icetea', '_coldcoffee_'] 가 나는 아래의 오류가 무엇입니까 schema = StructType([StructField('Username', Str

-2열

2답변

/스칼라

I는 그것이 하나의 단어가 포함되어리스트의 배열 인 scala> a res17: Array[org.apache.spark.sql.Row] = Array([0_42], [big], [baller], [bitch], [shoe] ..) 아래와 같다 a라는 스칼라 변수를 갖는다. 내가 단일 포장 배열의 배열을 만들려고하고 이유를 잘 Array[Seq[Str

1열

1답변

SparkR에서 grep 사용 중 오류

내 Spark DataFrame의 하위 집합에 문제가 있습니다. 은 내가 DataFrame 문자열로 포맷 ITEM_PRODUTO라는 열이 포함 nfe를 불렀다. 이 DataFrame을 항목 열에 "AREIA"라는 단어가 포함되는지 여부에 따라 부분 화하고 싶습니다. 나는 쉽게 정확한 구문을 기반으로 데이터를 부분 집합 할 수 nfe.subset1 <- su

1열

1답변

Spark CSV - 실제 매개 변수에 적용 가능한 생성자/메서드가 없습니다.

Java 스파크 응용 프로그램의 형식화 된 데이터 집합의 필터 및 맵에서 람다 함수를 사용하는 데 문제가 있습니다. 나는 아래의 클래스를 사용하고 2.2.0를 촉발하고이 런타임 오류를 ERROR CodeGenerator: failed to compile: org.codehaus.commons.compiler.CompileException: File 'gen

-1열

1답변

데이터 집합에서 사례 클래스로 매핑 할 때 오류가 발생했습니다.

왜 이것이 작동하지 않는 지 잘 모릅니다. 내 사례 클래스에 매핑하는 대신 튜플을 반환하면 올바르게 작동합니다. 그렇지 않으면 아래 오류가 발생합니다. case class WinRate(name: String, played: Int, wins: Int, losses: Int) val winners = df.select($"winning_heroes").

2열

2답변

spark-shell이 "SymbolTable.exitingPhase ... java.lang.NullPointerException"로 실패하는 이유는 무엇입니까?

그냥 아치 리눅스에 스팍 2.12.4와 아파치 하둡 3.0뿐만 아니라 아파치 스파크 2.2.0-4를 설치했고, 일단 spark-shell을 실행하면 다음과 같은 예외가 있습니다. Exception in thread "main" java.lang.NullPointerException at scala.reflect.internal.SymbolTable.exi

1열

1답변

Zeppelin이 "일치하지 않는 입력"으로 실패하는 이유는 무엇입니까? <EOF> "% spark.sql 단락에서?

나는 csv에서 마루 파일을 만들었습니다. mismatched input ';' expecting <EOF>(line 1, pos 23) == SQL == DROP TABLE IF EXISTS df; -----------------------^^^ CREATE TABLE df ( date_time STRING , site_name S

0열

2답변

NNLS를 사용하여 비 음성 다중 회귀 분석을 수행하는 방법은 무엇입니까?

Java에서 음이 아닌 다중 선형 회귀 문제를 해결하려고합니다. 그리고 스칼라로 작성된 솔버 클래스 org.apache.spark.mllib.optimization.NNLS을 발견했습니다. 그러나 이것을 어떻게 사용하는지 모르겠습니다. 나를 혼란에 빠뜨리는 이유는 다음 방법의 인터페이스가 이상하게 보입니다. A은 MxN 행렬이고 b은 M- 벡터이고 인수 a