scalding

1열

2답변

Scalding을 사용한 일부 계산의 마지막 단계로서 파이프의 여러 열의 평균을 계산하려고합니다. 그러나 다음 코드는 여러 개의 패스를하지 않고 같은 기능 sum, max, average을 계산하기 위해 어떤 방법이 있나요 myPipe.groupAll { _average('col1,'col2, 'col3) } 작동하지 않는 이유는 무엇입니까? 성능에 관

0열

1답변

wordcount.scala error

OSX Lion을 사용하여 Mac에 화상을 기록했습니다. 여기 scalac -classpath /var/folders/_j/_7d75_hj79133bcm7xrqzvz80000gn/T/maven/hadoop-core-0.20.2.jar:/var/folders/_j/_7d75_hj79133bcm7xrqzvz80000gn/T/maven/log4j-1.2.15.j

42열

5답변

계단식 예제를 컴파일하지 못했습니다?

셸에서 Impatient/part1 디렉토리에 cleanJar을 입력했습니다. 출력은 다음과 같습니다. 오류는 "org.apache.hadoop.mapred.JobConf에 대한 클래스 파일이 없습니다."입니다. 왜 컴파일에 실패 했습니까? 자바 6 사용 :clean UP-TO-DATE :compileJava Download http://conjars.

2열

2답변

빗금으로 HBase에서 읽음

나는 Cascading/Scalding에 매우 익숙하고, HBase로부터 뜨거운 데이터를 읽는 것을 알 수 없다. 저는 HBase에 포커 게임의 핸드 히스토리가 저장되어있는 테이블을 가지고 있습니다 (아주 간단한 방식으로 : id -> hand, serialized with ProtoBuf). 작업은 아래의 전체 역사를 통해 이동하고 모든 플레이어의 사전

2열

2답변

사용자 함수를 원격 MapReduce 노드에 전달하는 방법

Scalding으로 작업 할 때 함수를 제공 할 수 있습니다. 나는이 기능을 원격지도/축소 작업에 전달하는 방법에 대해 궁금해하고있었습니다. 익명의 객체로 수행 할 수있는 스칼라 또는 범용 무언가를 사용하고 있습니까?

2열

1답변

연속 기록 비교하기

누구든지 스키마를 생성 할 때 scalding의 연속적인 레코드를 비교하는 방법을 알고 있습니다. 내가 튜토리얼 6보고 및 기록 # 2 데이터 (모든 레코드) 레코드 # 1 예를 들어보다 큰 경우 내가 그 사람의 나이를 인쇄 할 것을 가정하고있다 : R1: John 30 R2: Kim 55 R3: Mark 20 if Rn.age > R(n-1).ag

4열

1답변

케스 케이 딩 HBase 탭

HBase에 연결해야하는 Scalding 작업을 쓰려고하는데 HBase 탭을 사용하는 데 문제가 있습니다. 다음에 Twitter Maple이 제공하는 탭을 사용해 보았습니다. 그러나 사용하고있는 Hadoop/HBase 버전과 Twitter에서 클라이언트로 사용 된 버전간에 약간의 비 호환성이있는 것으로 보입니다. 내 클러스터에서 HBase 0.92 및 Ha