hadoop2

0열

1답변

돼지가 WebHDFS를 통해 데이터에 액세스하도록 구성하는 방법은 무엇입니까?

나는 hadoop에 익숙하지 않으므로이 질문이 실수라면 나에게 용서해주십시오. 돼지가 데이터를 얻기 위해 webhdfs를 사용하도록 구성하려고합니다. 그때의 속성이 속성 객체 (속성) 돼지의 주요 파일에 객체를 전달 Configuration configuration = new Configuration(); conf.set("fs.defaultFS","we

0열

1답변

하이브 및 스파크를 시작하는 중 적절한 드라이버를 찾을 수 없습니다.

하이브를 시작하거나 스파크를 일으킬 때이 오류가 발생합니다. 16/07/13 16:55:12 ERROR Schema: Failed initialising database. No suitable driver found for jdbc:;derby;databaseName=metastore_db;create=true org.datanucleus.excepti

1열

1답변

단계가 exitCode, Amazon Emr Hadoop, S3DistCp와 함께 실패했습니다.

"단계"를 만들고 많은 작은 파일을 하나에 모으려고 노력 중이므로 일 동안 분리 할 수 있습니다. 문제는 내가 intetando 실행하고 내버려 두지 않는 것입니다. hadoop distcp s3n://buket-name/output-files-hive/* s3n://buket-name/files-hive/test 을하지만 이미 "에 의해 그룹"명령

0열

1답변

Hadoop - 3 데이터 노드가 작동 중이지만 보고서/URL에 라이브 데이터 노드가 표시되지 않습니다.

하나의 이름 노드 (마스터 노드)와 3 개의 데이터 노드 (슬레이브 노드)가 있습니다. 단일 데이터 노드 이름 노드 자체에서 잘 작동하고 보고서에 표시됩니다. 모든 데몬은 개별적으로 실행되지만 3 개의 데이터 노드 (슬레이브 노드)는 hadoop dfsadmin -report에 나열되지 않습니다. jps가 시작되면 모든 것이 잘 보입니다. : 이름 노드 [

-1열

1답변

맵을 사용하여 파일 읽기하기 hadoop에서 줄이기

맵에서 자바 코드를 작성하려고하는데 이클립스에서 실행되었지만 맵에서 구현하려고 할 때이 오류가 발생하면이 오류의 의미와 이 문제를 해결하는 방법 16/07/15 14:05:17 INFO Configuration.deprecation: session.id is deprecated. Instead, use dfs.metrics.session-id 16/07/

0열

1답변

클러스터의 다른 데이터 노드에 대해 다른 저장 용량을 가질 수 있습니까?

Hadoop 클러스터에 다른 용량의 노드를 추가 할 수 있습니다. 예 : Data Node 1 - 1 TB Disk space, 20 GB memory Data Node 2 - 5 TB Disk space, 30 GB memory Data Node 3 - 60 TB Disk space, 50 GB Memory.

0열

1답변

hdfs 데이터 노드 디렉토리를 변경할 수 없음

문제는 hdfs 블록에 대해 datanode 디렉토리를 변경할 수 없다는 것입니다. 내가 HDFS-site.xml 파일에이 속성을 넣으면 나는 데이터 노드를 실행할 수 없습니다 : <property> <name>dfs.datanode.data.dir</name> <value>file:///var/hadoop/datanode</value>

0열

1답변

폴더는 하둡 2.0 멀티 노드 클러스터의

이봐, 난 설치하고 HIVE -mkdir 하둡 FS로 만들어지지 않는다, 나는이 명령을 사용하여 폴더를 생성 할 수 없습니다입니다 : [하둡 @ 마스터 ~] $ $ HADOOP_HOME을/빈/하둡 FS의 -mkdir/tmp를 16/07/19 14:20:15 WARN util.NativeCodeLoader: Unable to load native-hadoop

0열

1답변

sqoop의 증분 업데이트

안녕하세요 sqoop 커넥터를 통해 MySQL의 데이터를 hdfs에로드했습니다. 이제 기존 데이터 사이의 행이 업데이트되면 sqoop의 기존 행의 데이터 값을 업데이트하는 쿼리가 생깁니다. 증분 업데이트 알고 있습니까? 증분 업데이트 윌 또한 기존 행을 업데이트 할? 나는 sqoop을 처음 사용합니까?

0열

1답변

하둡에서 사용할 압축을 지정하는 방법

하둡은 여러 압축 코덱 (예 : Gzip, LZ4, Snappy 등)을 지원합니다. 어떤 Hadoop 설정 파일에서 정확하게 어떤 것을 작업에 사용할지를 지정 하시겠습니까?