scalding

0열

1답변

간단한 단어 카운트 유형을 수행하기 위해 스캘링을 사용하고 있습니다. 튜플을 확장하기 위해 부분 함수를 사용할 때 오류가 발생합니다. 정확한 오류 메시지는 다음과 같습니다. Error:(15, 14) missing parameter type for expanded function The argument types of an anonymous functio

0열

1답변

EMR 작업 내에서 AWS Java SDK 사용

fatjar로 압축 된 Scalding 작업이 있고 EMR Hadoop 클러스터에서 실행 중입니다. 최근 맵 내부에 DynamoDB 연결이 필요한 새로운 기능을 추가했습니다. 내가 지방에 포함 libs가와 Error in configuring object at org.apache.hadoop.util.ReflectionUtils.setJobConf

0열

1답변

YARN에서 관리되는 Zeppelin에서 Scalding하는 ClassNotFoundException

YARN을 사용하는 동안 Zeppelin에서 Scalding을 사용하려고합니다. 난 here 문서의 단계를 따라 인터프리터를 빌드하고 클래스 패스 재정의를 설정했다. 로컬 모드로 실행하면 코드가 제대로 실행됩니다. 내가 YARN을 통해 내 클러스터에서 실행하지만 때 내 작업은 실패 : Error: java.lang.ClassNotFoundException:

1열

1답변

Storehaus로 algebird Bloom 필터 저장

최종 출력이 Algebird 블룸 필터 인 Spark 작업이 있으며 다른 Spark 작업에서이 블룸 필터를 다시 사용해야합니다. Twitter 저장소를 사용하여이 블룸 필터를 kv 저장소 (예 : redis)에 저장하고 다른 작업에서 검색 (대수 블룸 필터로 deserialize)하는 방법이 있습니까?

0열

1답변

Algebird에서 MonoidAggregator 란 무엇입니까

MonoidAggregator에 대한 어떠한 문서도 찾지 못했습니다. 무엇을위한 것인가? 의 사용의 예 : MultiAggregator( ..., Aggregator.forall[T](_.use)).andThenPresent(...) ..., ) 는 FORALL MonoidAggregator을 반환합니다. IT는 는 == 거짓

1열

1답변

Algebird에서 HyperLogLogMonoid를 사용하여 임의의 교차 및 합집합을 수행하는 방법

특정 카테고리에 속하는 값을 HLL 데이터 구조로 모아서 나중에 교차 및 합집합을 수행하고 결과를 계산할 수 있습니다. 그러한 계산의 카디널리티. 은 내가 내가 HLL로 다음 저장 com.twitter.algebird.HyperLogLogMonoid 사용에 도움이 필요한 com.twitter.algebird.HyperLogLogAggregator를 사용하여

0열

1답변

Hortonwork HDP 2.1은 어떤 스칼라 버전을 지원합니까?

Scalding 2.10.4를 사용하여 Scalding job을 만들고 있습니다. 그것의 성공적인 창조. 하지만 내가 Hortonworks에서 다음과 같은 예외를 던집니다. 몇 가지 답변에 따르면,이 문제로 인해 충돌 스칼라 버전으로 발생합니다. 이 문제를 알려주세요. 내 Hortonworks에서 찾을 수없는 스칼라 버전을 검색했습니다. 내가 뭐 잘못하고

0열

1답변

'복수 맵()'최적화 조정

다음 두 코드 블록은 성능 측면에서 동일합니까? val input: TypedPipe[Person] = .... input .map(_.getName) .map(_.split(" ")) 및 ... val input: TypedPipe[Person] = .... input .map(_.getName.split(" "))

0열

1답변

scala TypedPipe 스위치 열

저는 TypedPipe[(Long, Long)]의 형식으로 val을 가지고 있는데, 왼쪽과 오른쪽 열을 어떻게 전환합니까? 좀 더 명확하게, 왼쪽 열이 오른쪽 열의 값으로 새 값을 만드는 방법, 왼쪽 열에 값이 채워지는 오른쪽 열이 있습니까?

0열

1답변

대신 나는이처럼 보이는 끓는 작업이

튜플의 목록으로 튜플을 방출하는 방법 :. 수입 com.twitter.scalding을 {인수, CSV, 작업, TextLine입니다} class DataJob(args: Args) extends Job(args) { val input = args("input") val output = Csv(args("output"), separato