hadoop2

1열

1답변

하이브의 파일 형식이 HCatalog를 사용하는 pigScript에서 효율적으로 사용될 수 있는지 설명 할 수 있습니까? 현재 어떤 하이브 파일 형식이 효율적인지 이해하고 싶습니다. 현재 우리는 날짜를 기준으로 파티션 된 하이브 테이블을 가지고 있으며 기본 파일은 순차 파일입니다. 80 일간의 데이터를 읽으면 약 70,000 개의 매퍼가 생성됩니다. 맵 분

-1열

1답변

HDP 2.6.1.0 스택에 대해 응용 프로그램을 빌드하는 방법

sqoop 작업을 실행하고 hdfs 작업을 수행하며 하이브에 메타 데이터를 변경하는 Java 응용 프로그램을 빌드하려고합니다. 이 모든 것을 성취하기 위해 나는 메이븐 프로젝트를 만들었지 만, 나는 항상 의존성 문제를 겪는다. 누군가 내게 예제 pom.xml을 줄 수있어, 내 응용 프로그램을 작성할 수 있습니까? 감사합니다.

1열

1답변

텍스트 출력 형식으로 하이브 테이블을 만들 수 있습니까?</p> <pre><code>CREATE TABLE t1 ( a string) ROW FORMAT DELIMITED FIELDS TERMINATED BY ',' STORED AS TEXTFILE ; </code></pre> <p>그러나 그 결과는 다음과 같습니다 :

내 첫 번째 시도였다 이진 파일이 아닌 텍스트 파일에 결과를 보인다 CREATE TABLE t1 ( a string) ROW FORMAT DELIMITED FIELDS TERMINATED BY ',' STORED AS INPUTFORMAT 'org.apa

0열

2답변

하둡을 시작하는 동안 secondarynamenode, 데이터 노드, nodemanager를 시작할 수 없습니다

I am using Hadoop hadoop-2.6.0, while starting hadoop services unable to start secondarynamenode, datanode, nodemanager services. Getting Java.net.bind exceptions. NodeManager : org.apache.hadoop.y

0열

1답변

스프링 부트 YARN 구성을 재정의하고 Azure에 연결

이 간단한 example을 사용하여 Azure의 Hadoop에 대해 Spring Yarn 앱을 실행합니다. 질문은 어떻게 설정합니까 fs.azure.account.key.aaa.blob.core.windows.net 속성이 있습니까? 그것없이 Spring YARN은 jar 파일을 클러스터에 배포 할 수 없습니다. YarnConfiguration이 내 yar

0열

1답변

하둡 YARN SLS (스케줄러로드 시뮬레이터)

난 다음 명령을 사용하여 시뮬레이터 실행 bin/slsrun.sh --input-rumen = <sample-data/2jobs2min-rumen-jh.json> 을하며 다음과 같은 오류 준 : -su: syntax error near unexpected token `newline' 참고 : PWD는 $ HADOOP_ROOT/주/하둡입니다/tools

0열

1답변

브로커에서 카프카를 섭취 하시겠습니까?

./bin/kafka-console-consumer.sh --zookeeper 127.0.0.1:2181 --topic test ./bin/kafka-console-producer.sh --broker-list 127.0.0.1:9092 --topic test kakfa가 동물원을 필요로하는 이유는 무엇입니까? 나는 중개인으로부터 카프카를 소비 할

-1열

1답변

LAN에 노드가있는 hadoop multinode 클러스터를 설정하는 방법

Hadoop Multinode Cluster를 설정하고 싶습니다. 3 개의 시스템이 LAN에 연결되어 있습니다. 모든 시스템에 Windows 10이 설치되어 있으므로 Oracle VM VirtualBox에서 우분투 16.10을 3 개의 시스템에 모두 설치했습니다. LAN 내에서이 3 가지 시스템을 활용하여 Hadoop Multinode 클러스터를 어떻게 설

0열

2답변

급여가 그의 부서의 평균보다 큰 종업원의 이름과 부서를 얻는 방법은 무엇입니까?

나는 하둡과 돼지에 초보자이다. 질문에 따라 아래의 스크립트까지 드릴 다운 할 수 있었지만, 나는 어떻게 사람의 급여를 자신의 평균 급여와 비교할 수 있을까? 다음은 각 부서의 평균 급여를 얻기 위해 작성된 스크립트입니다 A = LOAD 'Assignment_1_Input.log' USING PigStorage('\t') as (id:int,name:cha

0열

2답변

감속기의 값을 기준으로 오름차순 정렬

내가 hadoop mapreduce 프로그래밍 패러다임을 처음 사용하는 사람은 어떻게 값을 기반으로 쉽게 정렬 할 수 있습니까? 나는 다른 비교기 클래스를 구현하려했지만 감속기의 값을 기준으로 정렬 작업을 수행하는 것과 같은 간단한 방법이 있습니다. 기본적으로 로그 파일을 읽고 있는데 오름차순으로 조회수를 계산할 URL을 주문하고 싶습니다. public s