scala

0열

1답변

저는 scala와 sbt에 대한 프로젝트를 가지고 있습니다. 리소스에서 파일을 가져 오려고합니다. 내가 SBT 실행에 프로젝트를 시작할 때 val filename = getClass.getResource("/emptyClickReports.csv").getFile log.debug("get empty report {} from resource fo

0열

3답변

텍스트 파일 용 데이터 프레임 Spark

텍스트 파일에 데이터 프레임을 만들려고합니다. I는 입력 (입력 2를 변경할 때 시료 입력 (입력 1) 코드아래 괜찮 입력 1 1,5 2,6 3,7 4,8 출력 1 단 +---+----+ | id|name| +---+----+ | 1| 5| | 2| 6| | 3| 7| | 4| 8| +---+----+ 를 작동), 저는 출력이

0열

1답변

RDD [ListBuffer]의 ListBuffer에서 객체를 인출하여 RDD에 새로운 항목을 생성하는 변환을 실현

그래서 RDD가 RDD[ListBuffer[(Array[String], Long)]]입니다. 단순화를 위해 RDD[X]이라고 할 수 있습니다. X은 일부 변수 목록입니다. X은 obj 개체의 목록입니다 (X[obj]). 입력은 RDD[X]이고 변환은 새로운 RDD[X]을 출력하는 기능을 원합니다. 이 변환은 X에서 obj을 꺼내고 새 것을 만들고 RDD에

0열

1답변

지도 메서드 내에서 kafka 토픽에 게시

지도 함수 (SCALA) 내에서 kafka 토픽에 쓰기? 나는 목록을 반복하고있는지도 기능 내 -지도 기능 문제 설명 내에서 데이터를 처리하는 FLINK 응용 프로그램 의 카프카 항목에서 읽기 . 목록의 각 요소에 대해 카프카 (kafka) 주제에 게시하고 싶습니다. 나는지도의 출력을 얻을 작동,하지만 난지도 방법 내에서 주제에 밀어 넣기를 시도하는 경우는

1열

1답변

셰이프가없는 zipWithKeys : 암시 적 매개 변수를 찾을 수 없습니다.

저는 최근에 셰이프를 가지고 놀았습니다. import shapeless._ import syntax.singleton._ import record._ object NotWorking { val result = ("value" :: HNil).zipWithKeys("key" :: HNil) } I 출력 확장 기록이 조각을 기대 : 나는

0열

1답변

Spark 2.2 스칼라 DataFrame 문자열 배열에서 선택하여 오류 잡기

저는 SparkSQL/Scala를 처음 접했고 몇 가지 간단하고 간단한 작업에 어려움을 겪고 있습니다. 스칼라 문자열 배열에서 일부 동적 SQL을 작성하려고합니다. DataFrame에서 일부 열을 다시 입력하려고 시도하지만 DataFrame에서 열 집합을 볼 수있는 런타임까지 다시 입력해야하는 항목을 정확히 알지 못합니다. 그래서 나는이 일을하려고 해요 :

1열

1답변

스파크 UDF를 작성할 때 (UDF를 하나씩 사용하는 것보다) 성능이 저하됩니까?

spark udf를 작성하여 성능 저하가 있는지 궁금합니다. def inc = udf((i: Double) => i + 1) def double = udf((i: Double) => i * 2) df.withColumn("r", double(inc($"c"))) 내가 본 바로는 def incAndDouble = udf((i: Double) => (i

1열

1답변

Future [Unit]로 작업 할 때 success.unapply 메소드를 해결할 수 없습니다.

Future에서 일부 코드를 실행하려고하는데 일부 데이터가 REST 엔드 포인트에 지속되어 DB 호출이 생성됩니다. 나는 미래에 그것을 실행하려고 노력하고있어 주위에 다른 코드를 잡아 두지 않는다. 그것은 시간에 민감 할 수있다. 나는 그것이 성공하면 Future 코드에서 어떤 일이 일어나는지 상관하지 않기 때문에 Future [Unit]를 실행하려고합니다

0열

1답변

공간 구분 열을 폭발시키는 방법은 무엇입니까?

는 I 한 열과 다른 많은 열을 50 개 포함 스파크 스칼라 샘플 dataframe 있고 ID 폭발해야 예 데이터 : id name address 234 435 567 auh aus 345 123 muji uk 출력 데이터 : id name address 234 auh aus 435 auh aus 567 auh aus

-2열

2답변

사소한 스칼라 필터가 사소하지 않다

좋아,이 은이되어야한다. 그러나 나는 몇 시간 동안 작동하도록 노력해왔다. ('PAUL ANKA',0) ('PAUL ANKA',0) ('P. ANKA /G. HAMILTON /J. NASH',0) ('PAUL ANKA',0) ('PAUL ANKA',0) ('PAUL ANKA',1) ('PAUL ANKA',0) ('PAUL ANKA',0) ('