scalding

0열

1답변

안녕하세요. Scalding 인터넷에서 많은 URL을 가져와야합니다. 스칼라는 표준 라이브러리에서 HTTP 요청을 수행하는 단일 클래스를 제공하지 않습니다. 필자가 보아 왔던 수많은 자바 솔루션이 너무 장황 해 보였으므로 단지 Scalding Pipe 기계를 사용하여이 작업을 수행 할 수 있는지 또는 사용하려는 작업 종류가 아닌지 궁금하다. 또한. Disp

1열

1답변

Gradle built jar가 메인 클래스를 찾지 못했습니다.

직장에서 우리는 Scalding 프로젝트에 gradle을 사용하며 가장 간단한 작업으로 스택에서 손을 떼어 내려고합니다. package org.playground import com.twitter.scalding._ class readCsv(args: Args) extends Job(args) { val csv:Csv = Csv(args(

2열

1답변

Scalding MongoDB 커넥터

ETL 구현을 위해 Scalding을 사용하고 있으며 Scalding 출력을 HDFS 대신 MongoDB로 전달하는 간단한 방법을 찾고 있습니다. 어떤 제안에 감사드립니다. 감사합니다.

4열

1답변

프로그래밍 방식으로 Scalding/Cascading Pipe의 필드 이름을 결정하십시오.

Scalding을 사용하여 많은 (> 22) 필드가있는 레코드를 처리하고 있습니다. 이 과정이 끝나면, 마지막 파이프의 필드 이름을 파일에 씁니다. Mapper 및 Reducer 로그가이 정보를 표시 할 때 가능하다는 것을 알고 있습니다. 가난한 사람의 스키마를위한 기초로 사용하기 위해이 정보를 업무 자체에서 얻고 싶습니다. 그렇게 할 수 없다면 큰 레코드

2열

3답변

샘플링 WordCount 로컬 모드

스케일링 샘플 단어 개수 예제를 실행하려고합니다. 단계에 대한이 github 링크를 따라갔습니다. - https://github.com/twitter/scalding/wiki/Getting-Started 하지만 ClassNotFoundException이 표시됩니다. 아래는 내 StackTrace입니다 : - [[email protected] scalding

6열

1답변

Scalding : groupBy ('field) {. size} 뒤에 다른 필드를 유지하는 방법?

그래서 내 입력 데이터는 두 개의 필드/열이 있습니다 ID1 & ID2, 그리고 내 코드는 다음과 같습니다 : (내가 가정 무엇)에 TextLine(args("input")) .read .mapTo('line->('id1,'id2)) {line: String => val fields = line.split("\t") (fields(0

0열

2답변

Scala-Scalding에서 summing list를 대체 할 대상은 무엇입니까

큰 목록을 유지 관리하는 곳은 다음과 같습니다. 여기서 수행하는 작업은 데이터 스트림을 거쳐 역 색인을 만드는 것입니다. 나는 트위터 끓는 API를 사용하고 dataTypePipe 내가 자바 목록에 스칼라 목록을 변환하고 작성하는 브로 사용으로 인해 직렬화 문제로 TypedPipe lazy val cats = dataTypePipe.cross(cmsCats

1열

1답변

상위 10 개 경로 축소 맵 축소

경로 탐색 그래프가 필요한 프로젝트에서 작업 중입니다. 문제 설명 : http://bl.ocks.org/mbostock/4063570 국지적 인 차이는 사이트 탐색이 될 것입니다 : 프로젝트 컨텍스트를 제공하기는 샘플 UI가 유사 할 것으로 예상된다. 내 문제는 백엔드 데이터를 다루는 데있다. 사용자 경로 A-> B-> C-> D-> E 를 들어 내가 미리

7열

2답변

Scalding map 메서드에서 튜플 대신 콜렉션을 출력 할 수 있습니까?

Scalding에서 더 작은 필드에서 22 개가 넘는 필드를 가진 파이프를 만들려면 22 개를 초과 할 수없는 스칼라 튜플로 제한됩니다. 튜플 대신 모음을 사용할 수 있습니까? 나는 슬프게도 작동하지 않는 다음 예제와 같은 것을 상상한다. input.read.mapTo('line -> aLotOfFields) { line: String => (1

1열

2답변

스캘링에 여러 입력 파일

큰 s3에 저장된 텍스트 파일 수를 처리하고 싶습니다. 불행하게도, 메소드 코드가 너무 커지고 java.lang.RuntimeException이 던져지기 때문에 MultipleTextLineFiles 소스와 함께리스트를 사용하기 만 할 수는 없다. 내 마지막 시도는 파일 목록이 들어있는 텍스트 파일로 jar 파일을 보내고 "scala.io.Source.fr