cascading

3열

2답변

캐스 케이 딩/스케이딩 최적화 방법에 대한 공지가 있습니다. map-side evaluation 소위 부분 집계를 사용합니다. 실제로 Combiners에 더 나은 접근 방법이 있습니까? 일반적인 hadoop 작업 (예 : 단어 수)에 대한 성능 비교가 있습니까? 만약 그렇다면 미래에 이것을 지원할 수 있을까요?

3열

1답변

Hive QL은 Hadoop에서 직접 MapReduce 작업을 직접 작성하는 것과 똑같은 표현력을 가지고 있습니까?

다른 말로하면, 맵 축소 작업을 직접 정의하여 해결할 수 있지만 하이브 QL 쿼리를 작성할 수없는 문제가 있습니까? 그렇다면 하이브 QL의 표현력이 제한적이며 가능한 모든지도 축소 작업을 나타낼 수 없다는 의미입니다. 실제적으로 하이브 QL은 자신의 맵 축소 작업을 정의하기위한 완전한 대체품이 아닙니다.

2열

1답변

하둡 "스타일"- 수천 개의 (k, v) 쌍 대 청킹

NASA의 MODIS 그리드에 해당하는 데이터 행렬을 포함하는 다수의 대용량 파일을 작업하고 있습니다. 그리드가 지구의 표면을 21,600 x 43,200 픽셀 배열 이 특정 데이터 세트는 픽셀 당 하나의 정수 값을 제공합니다. 저는 약 200 개의 파일과 월 1 개의 파일을 가지고 있으며 각 픽셀에 대해 시계열을 만들어야합니다. 내 질문은 이러한 파일 중

42열

5답변

계단식 예제를 컴파일하지 못했습니다?

셸에서 Impatient/part1 디렉토리에 cleanJar을 입력했습니다. 출력은 다음과 같습니다. 오류는 "org.apache.hadoop.mapred.JobConf에 대한 클래스 파일이 없습니다."입니다. 왜 컴파일에 실패 했습니까? 자바 6 사용 :clean UP-TO-DATE :compileJava Download http://conjars.

0열

2답변

Hadoop Cascading으로 스키마 변경

시간이 지남에 따라 스키마가 부가적인 데이터 아카이브에 대해 계단식을 사용하는 방법을 파악하려고합니다. 왜 제가 첨가제를 사용한다는 것은 3 열로 시작한다는 것입니다. 그런 다음 다음 릴리스에서는 5 개의 열을 가질 수 있습니다. 이 열은 표준 CSV 레이아웃을 따릅니다. 필자가 스키마를 5 열 길이로 지정하고 이전 스키마가 3 일 경우 계단식 연결은 실패

2열

2답변

빗금으로 HBase에서 읽음

나는 Cascading/Scalding에 매우 익숙하고, HBase로부터 뜨거운 데이터를 읽는 것을 알 수 없다. 저는 HBase에 포커 게임의 핸드 히스토리가 저장되어있는 테이블을 가지고 있습니다 (아주 간단한 방식으로 : id -> hand, serialized with ProtoBuf). 작업은 아래의 전체 역사를 통해 이동하고 모든 플레이어의 사전

1열

1답변

asp.net/MVC 3/면도기/jquery/계단식 드롭 다운 목록이 작동하지 않습니다.

jquery/javascript뿐 아니라 stackoverflow에 새로운 기능입니다. 나는 하루 종일 내 현재 프로젝트에 계단식 드롭 다운 목록을 추가하는 다른 방법을 찾고 있었고 아직 나를 위해 일한 방법을 찾지 못했습니다. 내 발견의 대부분은 오래되고 MVC 2를 기반으로 WebForms에서 구형 기술로 전환되었습니다. 필자는 MVC 3/4를 기반으로

7열

2답변

Workflow tool comoparison : Oozie Vs Cascading

복잡한지도 - 축소 작업을 실행하기위한 워크 플로 도구를 찾고 있습니다. 나는 Oozie를 염두에두고 있지만 Cascading을 탐구하고 싶다. 계단식 API를 사용하여 기존 M/R 작업을 연결하는 샘플 코드 또는 예제가 있습니까? 또한 Oozie 대 Cascading 비교를 제공 할 수 있습니까?

1열

3답변

특수 문자로 분리 된 hadoop에서 텍스트 소스를 읽는 방법

내 데이터 형식은 새 줄 대신 \ 0을 사용합니다. 그래서 기본 텍스트 라인 리더가 작동하지 않습니다. 특수 문자로 구분 된 행을 읽으려면 어떻게 구성해야합니까? LineReader를 구성 할 수없는 경우,이를 수행하는 방법이 확실하지 않은 특정 스트림 프로세서 (tr "\ 0" "\ n")를 적용 할 수 있습니다.

1열

1답변

Oozie를 사용하여 계단식 실행하기

Oozie를 사용하여 계단식 작업을 실행하려고합니다. cascading.tap.hadoop.MultiInputSplit 내가 워크 플로우 lib 디렉토리에있는 계단식 단지를 포함하고 하지만, 캐스 케이 딩은 m/R 작업을 실행 할 때 포함되지 않는 : 은 내가 java.lang.ClassNotFoundException가 무엇입니까. Oozie와 함께 계단식