apache-spark-sql

0열

1답변

스파크 데이터 프레임 reducebykey (비 고유 키 값 사용) 및 사용자 정의 값 연산

나는 Spark 1.5.0 코드를 가지고 있습니다. 경우 클래스 myCaseClass (USER_ID : 문자열, 설명 : 문자열) 여기 내 UDF입니다 다음 val getConcatenated = udf((first: String, second: String, third: String) => { first + " " + second + " " + thir

9열

1답변

Spark SQL에서 큰 데이터 프레임을 결합하는 방법은 무엇입니까? (모범 사례, 안정성, 성능)

Spark SQL에서 큰 데이터 프레임을 결합 할 때 Missing an output location for shuffle과 같은 오류가 발생합니다. 권장 사항은 MEMORY_AND_DISK 및/또는 spark.shuffle.memoryFraction 0으로 설정하는 것이 좋습니다. 그러나 spark.shuffle.memoryFraction은 Spark>

0열

1답변

spark-sql 경우 REPL에서 작동하지만 코드가 컴파일되지 않습니다

이 코드는 REPL에서 작동하지만 컴파일하지 않습니다. 나는 암묵적인 것을 놓치고 있다고 생각한다. 그러나 비 REPL 코드는 다음 수입 사용해야에서 people.select(when(people("gender") === "male", 0) .when(people("gender") === "female", 1) .otherwise(2))

0열

1답변

sparkR 데이터 프레임을 unpivot하는 방법은 무엇입니까?

SparkR에서 데이터 프레임을 조 변경/unpivot하려고합니다. 필자는 데이터 프레임을 unpivoting하기 위해 SparkR 패키지에서 직접 사용할 수있는 방법을 찾지 못했습니다. includePackage 메서드를 사용한 후에도 SparkR 데이터 프레임에서 R 패키지를 사용할 수 없습니다. SparkR이나 하이브 (Hive)와 같은 다른 대안을

1열

1답변

스파크에 MS SQL 서버 저장 프로 시저

우리는 다양한 데이터베이스에 대한 기본 옵션으로 MS SQL 서버를 보유하고 있으며 수백 개의 저장 프로 시저를 정기적으로 실행합니다. 이제 우리는 완전히 큰 데이터 스택으로 이동하고 있습니다. 배치 작업을 위해 Spark을 사용하고 있습니다. 그러나 우리는 이미 이러한 저장 프로 시저를 만드는 데 엄청난 노력을 기울였습니다. Spark 위에 저장 프로 시

0열

1답변

왜 spark에서 hiveContex를 사용하는 quantile 계산이 매우 느린가요?

색조를 사용하여 10GB CSV 파일을 사용하여 하이브 테이블을 만들었습니다. 그런 다음 SQL 쿼리를 실행하려고했습니다. 데이터를 처리하는 동안 2 시간 이상 긴 시간 동안 말하고 있습니다. 아무도 이것이 스파크 문제인지 여부를 말해 줄 수 있습니까 ?? 또는 나는 틀린 무엇인가했다. 나는 실행자, 코어 및 executor 메모리의 수를 변경하는 것과 같

2열

2답변

Apache Spark, 첫 번째 인수로 <?>리스트를 사용하는 Java에서 createDataFrame 예제

Spark JavaDoc에서 언급 한대로 public DataFrame createDataFrame(java.util.List<?> data,java.lang.Class<?> beanClass) Java 구현 예의 예를 제공 할 수 있습니까? 는 내가 첫 번째 인수로 전달하고 따라서 내가 두 번째 인수로 String.class를 전달하고 JSON 문자열 목

0열

2답변

어떻게 별개의 열

나는 불꽃이 뭐하는 거지에 따라 전체 행을 선택합니다 cityId PhysicalAddress EmailAddress ..many other columns of other meta info... 1 b st [email protected] 1 b st [email protected] <- some rows can be entire

5열

1답변

스파크 선택 - 폭발 관용구는 어떻게 구현 되었습니까?

우리는 문자열 열 col1과 배열 열 col2을 가진 DataFrame이 있다고 가정합니다. 나는 스파크 작업의 배후에 어떤 일이 벌어지는 지 알아 궁금 : df.select('col1', explode('col2')) select 입력으로 Column 객체의 순서를 받아, explode가 Column 그래서 유형의 일치를 반환 것으로 보인다. 그러나 ex

1열

1답변

SPARK를 사용하여 HDFS에서 거대한 데이터 (약 800GB)를 하이브 오크 테이블로 작성 하시겠습니까?

저는 최근 3-4 개월 이후로 Spark Project에서 일하고 있습니다. 커다란 내역 파일 (800GB)과 작은 증분 파일 (3GB)을 사용하여 계산 중입니다. 는 계산 hqlContext & dataframe를 사용하여 불꽃에 매우 빠르게 일어나고,하지만 난 GB가 거의 800의 데이터 크기가 거의 200 억의 레코드를 포함하는 hive tableor