hadoop2

0열

1답변

단일 노드 카프카 설정이 있습니다. 그것은 잘 작동했다. 나는 다른 중개인을 추가하고 두 개의 노드가있는 카프카 클러스터를 만들었다. 저는 별도의 사육사를 설치하지 않고 카프카 패키지와 함께 제공되는 동일한 사육사를 사용합니다. 클러스터를 만들기 위해 나는 아래의 변경을했다. broker1.properties의 내용 : 두 번째 노드의 첫 번째 노드에서 b

0열

1답변

사용 권한 STS java 프로그램에서 로컬 시스템의 파일을 HDFS로 복사 할 때 만료

나는 HDFS에서 wokring하고 hadoop conf 및 fs 패키지의 Configuration 및 FileSystem 클래스를 사용하여 로컬 시스템에서 HDFS 파일 시스템으로 파일을 복사하려고합니다. import java.io.BufferedInputStream; import java.io.FileInputStream; import java.io

0열

1답변

mapreduce 작업이 완료되면 _temporary 디렉토리가 출력 위치에서 삭제되지 않습니다.

MapReduce 작업을 통해 데이터를 분석하기 위해 데이터를 구문 분석하고 있습니다. 구문 분석 된 데이터는 일괄 처리 형식으로 제공됩니다. 스파크 스트리밍 작업을 통해 하이브 외부 테이블에로드됩니다. 이것은 실시간 프로세스입니다. 오늘 _temporary 디렉토리이 하이브 테이블에로드되지 않아서 출력 위치에 생성 된 것과 같이 비정상적인 이벤트가 발생하

1열

1답변

HA가 아닌 Hadoop 클러스터를 HA 클러스터로 변환

3 개의 노드 (NameNode 및 Data Node 2 개)가있는 HA가 아닌 Hadoop 설정이 있습니다. NameNode는 4GB의 메모리와 20GB의 하드 디스크가있는 서버이며, 각 DataNode에는 8GB의 메모리와 100GB의 하드 디스크가 있습니다. 이제 이것을 HA 클러스터로 변환해야합니다. 필자는 Quorum Journal Manager를

3열

1답변

HDP 업그레이드 후 hadoop 클러스터에서 Apache Twill Application을 실행하는 동안 RequestHedgingRMFailoverProxyProvider에 대한 IllegalAccessError가 발생했습니다.

hadoop 클러스터에서 Apache Twill 응용 프로그램을 시작하려고하는데 클러스터가 최근에 HDP 2.2에서 HDP 2.5로 업그레이드되었지만 RequestHedgingRMFailoverProxyProvider 클래스에 대해 llegalAccessError가 표시됩니다. . 이 클래스는 org.apache.hadoop.yarn.client 패키지의

0열

1답변

하이브 횡단면 Explode with where 절 - 먼저 실행되는 항목

하이브에서 LATERAL VIEW EXPLODE를 사용하여 WHERE 절을 실행했는지 여부를 이해하려고합니다. 예를 들어 내가 SELECT * FROM ( SELECT a1, a2, b.ds, conv_list.threshold_conv[0] AS t FROM t1

2열

1답변

hadoop WordCount가지도에서 멈춤 0 % 감소 0 %

저는 중국 학생이고 hadoop 2.7.1에서 초보자입니다. 내 문제를 해결할 수 있으면 고맙겠습니다. 최근에 pseudo-distributed에서 hadoop WordCount 예제를 실행하면지도 0 %에서 멈추어 0 %가 감소합니다. …… 2017-05-14 16:32:55,939 INFO [main] org.apache.hadoop.yarn.cl

2열

1답변

Hadoop 클러스터 - 정상 및 보안 형태의 클러스터 간의 성능 차이

Kerberos 및 SSL로 구성된 일반 Hadoop 클러스터와 보안 Hadoop 클러스터 간의 성능 차이가 있습니까? 두 유형의 클러스터에 대한 기계 구성이 동일하다고 간주하면 작업 완료에 소요되는 시간이 다릅니 까? 그렇다면 시차에 관한 알려진 시간 메트릭스가 있습니까? 마찬가지로, 일반 클러스터 - 1.5 시간 안전한 클러스터 - 2.5 시간

-2열

1답변

고 가용성의 저널 노드 사용

저널 노드의 필요성 고 가용성으로 3 개의 저널 노드를 구성하는 이유. 는 복제

0열

1답변

yarn application -list : 오늘 또는 지난 24 시간 동안 목록을 필터링하는 방법?

Hadoop 클러스터에서 실행되는 응용 프로그램을 나열하려고합니다. >yarn application -list -appStates FINISHED 을하지만 여전히 (지난 4-5일이, 내가 원사 타임 라인 서버 설정을 기반으로 추측) 역사 전체를 끌어 : 나는 다음과 같은 목록이 응용 프로그램 상태를 기준으로 필터링 할 수 있습니다. 특정 날짜 또는 지난