hadoop2

0열

1답변

64MB 블록이 노드 A에 있고 2 개의 다른 노드 (B, C) 사이에 복제되고 map-reduce 프로그램의 입력 분할 크기가 64MB라고 가정하면이 분할은 노드 A에 대한 위치가 있습니까? 아니면 3 개의 노드 A, B, C 모두에 대한 위치가 있습니까? 데이터가 세 노드 모두에 대해 로컬이므로 프레임 워크가 특정 노드에서 실행될지도 작업을 결정 (선택

1열

1답변

hadoop에서이 실패의 이유는 무엇입니까?

축소 작업을 실행할 때 내 hadoop 작업에서 자주 발생했습니다. 이 문제의 원인 중 일부는 감속기가 오랫동안 컨텍스트를 작성하지 않았을 수 있으므로 코드에 context.progress()를 추가해야 할 수 있습니다. 그러나 저의 감축 기능에서는 문맥이 자주 쓰여집니다. public void reduce(Text key, Iterable<Text> va

1열

1답변

MapReduce로 탭으로 구분 된 입력 값의 합계를 계산합니다.

MapReduce를 사용하여 레이블로 구분 된 탭 구분 된 입력의 합계를 찾으려고합니다. 데이터는 다음과 같습니다. 1 5.0 4.0 6.0 2 2.0 1.0 3.0 1 3.0 4.0 8.0 첫 번째 열은 클래스 레이블이므로 클래스 레이블로 분류 된 출력을 기대합니다. 이 예를 들어 출력은 여기에 내가 노력 코드는하지만, 내가 잘못 출력과 가

0열

1답변

하이브 테이블 소스

내가 하나 이상의 공백하여 다음 표 소스 구분 기호를 만들 수있는 방법 : USAF 및 WBAN 사이에 공백의 수는 하나 개의 공간 예를 들어 CREATE EXTERNAL TABLE weather (USAF INT, WBAN INT, `Date` STRING, DIR STRING, SPD INT, GUS INT, CLG INT, SKC STRING, L S

0열

2답변

Cloudera Manager를 사용하여 설치할 노드를 선택할 수 없습니다.

cloudera manager 5.9를 사용하여 CDH를 설치하려고합니다. 이 호스트의 IP의를 묻는 메시지 때 해당 노드를 스캔 할 수 있지만 나중에는 아래 스크린 샷을 참조하십시오 버튼이 비활성화 "계속" 왜 "계속"어떤 이유가 있습니까를 버튼이 활성화되어 있지 않습니까? 참고 : 저는 Virtualbox를 사용하고 있으며 내 VM은 CentOS를 기반

0열

1답변

아파치 hadoop에서 oozie 4.3.0을 실행할 수 없습니다. 2.7.3

oozie와 함께 제공되는 표준 예제 workflow.xml을 실행하려고하면 Apache hadoop 단일 노드 클러스터에서 oozie 4.3.0에 대한 모든 설정을 완료했습니다. 오류. 가 ActionStartXCommand WARN - SERVER [data01.teg.io] USER [하둡] GROUP [-] 523 TOKEN [] APP [맵 줄일

8열

1답변

Cloudera Manager를 사용하여 hadoop을 설치할 수 없습니다.

cloudera Manager 5.9를 사용하여 단일 VM에 (간단히하기 위해) hadoop 클러스터를 설정하려고합니다. 아래는 내 환경의 세부 사항은 다음과 같습니다 Host OS -> Windows 10 Virtualization software -> Virtual box 5.1.10 Guest OS -> Cent OS 6.8 본인은 클라우 데라

0열

1답변

Flume을 사용하여 Twitter 데이터로드 - 프로토콜 메시지 끝 그룹 태그가 예상 태그와 일치하지 않습니다.

Twitter 데이터를 HDFS에로드하는 동안 Flume에서 문제를 해결하는 데 도움이 필요합니다. 나는 하둡 2.6 & FLUME 1.7 버전을 사용하고 있습니다. 지침대로 모든 것을 구성했습니다. (https://www.eduonix.com/blog/bigdata-and-hadoop/flume-installation-and-streaming-twitte

0열

1답변

설치하는 동안 Cloudera 관리자

우리는 Vm을 사용하여 흐린 클러스터를 구현하는 학생으로서 우분투 14.01, 아래에 3 개의 Vm을 사용하여 클라우드 클러스터를 설치하려고 시도했습니다. 내 단계 : ssh없이 암호 연결을 사용했습니다. 모든 노드, (테스트 완료) 내 모든 VM에 설치된 cloudera CDH, 에/etc/hosts를 구성하면이 문제가 각 노드에 모든 것을 설치하려고 할

0열

1답변

스파크에서 전체 하이브 데이터베이스를 사용하고 외부 파일에서 SQL 쿼리를 읽는 방법?

저는 Azure에서 spark 1.6을 사용하는 hortonworks 샌드 박스를 사용하고 있습니다. 하이브 데이터베이스가 TCP-DS 샘플 데이터로 채워져 있습니다. 외부 파일에서 일부 SQL 쿼리를 읽고이를 스파크의 하이브 데이터 세트에서 실행하려고합니다. 나는 내 데이터 집합의 테이블을 사용하고 있으며 스파크에 SQL 쿼리를 다시 작성하는이 항목 Us