hadoop2

2열

2답변

mapreduce 작업이 여러 입력 파일에 대해 수행 될 때 hadoop이 매퍼 수 또는 입력 나누기 수를 어떻게 수정합니까?

크기가 453MB, 449MB, 646MB 및 349MB 인 네 개의 입력 파일 (CSV)이 있습니다. 이 모든 것이 1.85GB의 전체 크기를 구성합니다. HDFS 블록 크기는 128MB입니다. 20 개 필드가 거의 없기 때문에 레코드 크기가 매우 작습니다. 내가 하둡은 매퍼 또는 입력 분할의 수를 결정하는 방법을 알고 싶습니다 : 맵리 듀스 작업의 완료

-1열

1답변

내가 <code>~/.bashrc</code></p> <pre><code>export HADOOP_CLASSPATH=$HADOOP_CLASSPATH:/usr/lcoal/Hbase/lib/hbase-client-1.2.4.jar </code></pre> <p>에서 변수를 설정 HBaseConfiguration NoClassDefFoundError를 예외

을 제공하지만 난 코드를 java -cp $HADOOP_CLASSPATH:/home/hadoopuser/Downloads/myjar.jar com.bigdata.uniquecoder.WordCountClass 를 컴파일 할 때 그것은 아직도 날이 오류를 제공합니다. Exception in thread "main" java.lang.NoClassDefFo

2열

2답변

YARN vcore의 가상 코어는 무엇을 의미합니까?

Yarn은 가상 코어 개념을 사용하여 CPU 리소스를 관리합니다. 가상 코어를 사용하면 어떤 이점이 있는지 물어볼 것입니다. YARN이 vcore를 사용하는 이유는 무엇입니까?

2열

1답변

하둡 dfsadmin -shutdownDatanode

ipc_port는 무엇을 의미합니까? 내가 -shutdownDatanode <datanode_host:ipc_port> [upgrade]] -getDatanodeInfo <datanode_host:ipc_port>] 에 인수로 전달해야 내가 입력 그것은 shutdownDatanode 오류가 throwed hdfs dfsadmin -shutdownDat

2열

1답변

hadoop2.7.2 멀티 노드에있는 작업 기록 webui-19888은 작업이 끝난 후 표시됩니다.

2 노예로 hadoop2.7.2에서 작업을 실행 한 후 터미널에 결과가 표시 될 수 있지만 마스터에서는 19888/jobhistory가 아무것도 표시되지 않습니다. 그림과 구성 파일을 업로드했습니다. job history webui 19888 여기에는 제 설정 파일이 있습니다. core.site.xml <property> <name>fs.defau

1열

1답변

HBase to Hive 매핑 테이블에 전체 데이터가 표시되지 않습니다.

HBase 테이블에 1 개의 열 패밀리가 있고 15 억 개의 레코드가 있습니다. HBase를 행 수는 "count '<tablename>'", {CACHE => 1000000}. 그리고 하이브 매핑에 HBase를가 아래의 명령으로 수행 한 명령를 사용하여 검색했다. create external table stagingdata( rowkey String,

1열

1답변

hadoop에서 각 작업의 컨테이너를 찾으십시오. 2.7.2 두 주인과 함께 hadoop 2.7.2에서 작업을 실행 한 후 8088

, 각 작업의 컨테이너를 알고 싶습니다. 마스터에서 : 8088 우리는 최대 값을 볼 수 있습니다. 및 최소 할당. 내가 응용 프로그램 ...을 클릭하면 ....이 그림은 memmory0과 vcore0을 보여줍니다. 컨테이너의 속성을 어떻게 찾을 수 있는지 알고 싶습니다.

0열

1답변

Ambari에서 클러스터를 설정할 때 단일 노드 클러스터에 대한 호스트 암호를 확인하십시오.

단일 노드 클러스터에 Ambari를 설정하려고합니다. 나는이 관련된 모든 게시물, 권한 변경을 시도하고 Ambari 라인 위에서 키 복사 http://docs.hortonworks.com/HDPDocuments/Ambari-2.1.2.1/bk_Installing_HDP_AMB/content/_set_up_password-less_ssh.html cd ~/.

1열

1답변

입력 분할 만들기 (HADOOP)

파일 크기가 39MB이고, 블록 크기를 36MB으로 설정했습니다. 파일을 HDFS에 업로드하면 두 개의 블록에 파일을 성공적으로 저장합니다. 나는이 파일에 (간단한 읽기 작업을)지도 - 절감 작업을 실행할 때 이제 작업 카운터를 보여 "정보 mapreduce.JobSubmitter : 분할의 수 : 1"입니다 , 그것은 2를 고려를 단일 분할 같은 블록 그

0열

1답변

수동으로 생성 된 (하드 코딩 된) Hadoop 시퀀스 파일을 읽을 때 ChecksumException이 발생합니까?

파일을 Hadoop의 시퀀스 파일에 저장하는 코드를 작성했습니다. 키는 파일 이름이고 값은 파일의 바이트 배열입니다. 출력은 시퀀스 파일과 .crc 파일입니다 그 후 시퀀스 파일에서 읽으려고했으나 체크섬과 관련하여 예외가 있습니다. Exception in thread "main" org.apache.hadoop.fs.ChecksumException: Che