hadoop2

3열

1답변

하둡 2.7.3, 스파크 2.1.0 및 하이브 2.1.1. 하이브의 기본 실행 엔진으로 spark를 설정하려고합니다. $ SPARK_HOME/jars에있는 모든 jar를 hdfs 폴더에 업로드하고 scala-library, spark-core 및 spark-network-common jar를 HIVE_HOME/lib에 복사했습니다. 그럼 다음과 같은 특성을

1열

1답변

스파크 : 구성된 모든 실행 프로그램을 사용하지 스파크

우리는 그것을 배치가 여기에 구성된 모든 실행 프로그램을 사용하지 않는 것 ..하지만 대기하고있다 응용 프로그램을 스트리밍 불꽃을 실행하는 .. 24 집행을 사용하도록 구성된하지만 실제로는 16을 사용하고 및 배치는 을 대기지고 어떻게 우리는 그것을 24 개 집행을 사용하도록 구성된 최대

1열

1답변

Flume - 정기적 인 간격으로 또는 특정 크기에 도달 할 때 로그를 읽는 방법

내가 정기적으로 로그를 읽도록 Flume을 구성 할 수 있는지 또는 로그가 특정 크기에 도달했을 때 어떻게 알 수 있습니까? 미리 감사드립니다

1열

2답변

로컬 노드에도 동일한 경로가있는 경우 HDFS가 혼동 스럽습니다.

CDH 5.4.1 클러스터에서 제공하는 hadoop을 사용하고 있습니다. 내가 직면 한 문제는 path/tmp/data와 함께 hdfs에 디렉토리가 있다는 것입니다. abc.csv라고하는 파일이 있습니다. 이제이 폴더가 노드 (노드 1) 중 하나에 있습니다. 로컬 Linux fs 뿐만 아니라 csv 파일 xyz.csv가 들어 있습니다. node1에서 다음

0열

1답변

보안 클러스터에 Hadoop 사용자 추가

kerborized CDH 클러스터를 사용하고 있습니다. 클러스터에 사용자를 추가하는 동안 hadoop 배포판 클러스터와 마찬가지로 게이트웨이/에지 노드에만 사용자를 추가했습니다. 그러나 새로 추가 된 사용자 ID로는 map-reduce/yarn 작업을 실행할 수 없으며 "사용자를 찾을 수 없음"예외가 발생합니다. 내가 이것을 조사했을 때 보안 클러스터에서

2열

2답변

원사가 : 원사가 더 많은 메모리를 사용하고

우리가 5 노드 클러스터 사에 의해 관리 및 실행 하둡 1 마스터 이름 노드 8 vcores 및 24기가바이트 메모리가 vcores하는 방법 4 데이터가 각 8 vcores 노드 및 24기가바이트 메모리 내가 그것을 아래 그림에서 강조로 UI로 원사의 구성을보고 만 16기가바이트 6 vcores ,369을 사용하고 우리의 응용 프로그램은 16GB의 메모리를

0열

2답변

누구나 hadoop, sqoop, hbase 및 하이브의 호환성 버전을 제안 할 수 있습니까

hadoop 2.5.2, hbase 0.98. * 버전, 하이브 1.2.1 버전을 사용했습니다. 이제 sqoop은 hadoop 버전과 호환되지 않습니다. 만약 내가 hadoop> 2.5 hbase를 변경하고 하이브가 지원하지 않습니다. 누구든지이 문제를 해결하는 데 도움이 될 수 있습니다. 미리 감사드립니다.

0열

1답변

hadoop 소스 코드에서 mapreduce 작업과 해당 데이터 세트를 연결하는 클래스는 무엇입니까?

hadoop-common/src/util에있는 클래스를 읽었지만 작업을 해당 데이터 세트와 관련시키는 클래스를 찾을 수 없습니다. 하둡은 어떤지도 축소 작업이 어떤 데이터 세트와 관련되어 있는지 어떻게 알 수 있습니까?

0열

2답변

상태 비 저장 노드 란 무엇입니까? Hadoop 노드의 상태 비 저장 방법은 무엇입니까?

무국적 노드는 서로간에 독립적이라는 것을 의미합니까? 이 개념을 hadoop에 설명해 주시겠습니까

0열

1답변

hadoop "입력 경로가 존재하지 않습니다"가 로컬 드라이브로 보입니다

내 hadoop 프로그램에 문제가 있습니다. 매퍼로 파일을 읽으려고하는데 항상 존재하지 않는 파일을 말하는 오류가 발생합니다. 코드는 같다 : Configuration conf = new Configuration(); //String[] otherArgs = new GenericOptionsParser(conf, args).getRemainingA