apache-spark-2.0

8열

1답변

프로젝트 Tungesten을 통합하면 스파크가 자동으로 힙 메모리를 사용한다고 생각했습니다. spark.memory.offheap.size 및 spark.memory.offheap.enabled는 무엇입니까? 텅스텐에 대한 힙 메모리 양을 수동으로 지정해야합니까?

1열

1답변

Spark Structured Streaming Window() 함수 - GeneratedIterator가 64KB 이상으로 커졌습니다.

Spark Structured Streaming 접근 방식을 사용하여 다음 Sliding Window SQL 쿼리를 실행하고 있습니다. org.codehaus.janino.JaninoRuntimeException : 코드 방식의 "agg_doAggregateWithKeys의 $ (I 1 초로 윈도우 120초 같은 크기와 슬라이딩 간격을 유지하는 경우 "SE

0열

1답변

spark groupBy 작업이 199200에서 중단됩니다.

저는 마스터와 2 명의 집행자가있는 스파크 독립 실행 형 클러스터를 사용하고 있습니다. 나는 RDD[LevelOneOutput]를 아래 그룹에 class LevelOneOutput extends Serializable { @BeanProperty var userId: String = _ @BeanProperty var

1열

1답변

거대한 작업을 위해 Apache Spark에서 맵 함수 사용

스파크의 Dataset의 거대한 컬렉션에서 jaccard와 같은 거리 매트릭스를 계산해야합니다. 직면 한 몇 가지 문제. 친절하게 우리에게 방향을 알려주세요. 문제 1 import info.debatty.java.stringsimilarity.Jaccard; //sample Data set creation List<Row> data =

1열

1답변

GC 오버 헤드 한도가 초과되었습니다.

학생 기록으로 필터링 된 최신 학생 기록을 얻기 위해 스파크 작업을하고 있습니다. 하지만 수십만 건의 기록으로이 작업을 시도하면 정상적으로 작동합니다. 하지만 많은 수의 레코드로 실행할 때 sparkjob은 오류 아래로 돌아옵니다. 테이블의 모든 데이터를로드하고 int를 RDD에 넣었으므로이 오류가 발생합니다. 내 테이블에는 약 4.2 백만 개의 레코드가

0열

1답변

Spark Java에서 데이터 집합을 탐색/반복하는 방법은 무엇입니까?

나는 Jaro winkler 또는 Cosine Similarity와 같은 문자열 유사성 계산을 수행하기 위해 Dataset을 탐색하려고합니다. 내 데이터 집합을 행 목록으로 변환 한 다음 효율적인 스파크 방법이 아닌 명령문을 사용하여 트래버스합니다. 그래서 나는 Spark에서보다 나은 접근법을 기대하고 있습니다. public class sample {

0열

2답변

S3 용 IAM 규칙을 사용하기 위해 Amazon EC2에서 로컬 모드로 실행되는 Spark을 구성하는 방법

S3에서 데이터를 읽으려고 할 때 Amazon EC2에서 로컬 모드로 Spark2를 실행 중입니다. 다음과 같은 예외 : java.lang.IllegalArgumentException가 : AWS 액세스 키 ID와 비밀 액세스 키가 S3의 URL의 사용자 이름 또는 (각각) 암호로 지정해야합니다, 또는 fs.s3.awsAccessKeyId 또는 FS를 설정

7열

1답변

검색 아파치 불꽃 자바를 사용하여 교체

문제 설명 : 우리는에 (동의어 목록 ~ 40,000 + 키 값 쌍의 큰 컬렉션)에서 이에 상응하는 단어와 함께 행에서 단어의 동의어를 교체해야 대형 데이터 세트 (50000 행). 예 : Key | Value ------------------------------------ Allen | Apex Tool Group Armstrong | Columbus

1열

1답변

Apache Spark Dataframe - CSV 파일의 n 번째 라인에서 데이터로드

거대한 주문 CSV 파일 (5GB)을 처리하고 싶습니다. 파일의 시작 부분에 일부 메타 데이터 행이 있습니다. 헤더 열은 행 4 ("h"로 시작)에 표시되며 그 뒤에 옵션 성을 설명하는 다른 메타 데이터 행이 나옵니다. 데이터 행은 데이터 집합에 대한 파일 사용 'inferSchema'옵션을로드 할 때 m,Version,v1.0 m,Type,xx m,<

0열

1답변

spark.read.text의 Spark 2.0 인덱스 3의 예상되는 스킴 관련 부분 : s3 : 오류

sparkession을 사용하여 sparkession을 사용하여 텍스트 파일을로드하는 데 이상한 문제가 발생합니다. 현재 내 스파크 설정은 다음과 같습니다 : rdd를 통해 s3a 파일을로드하면 정상적으로 작동합니다. 내가 좋아하는 뭔가를 사용하려고하는 경우에는 : java.net.URISyntaxException: Expected scheme-specif