hadoop2

0열

1답변

spark.jars와 spark.driver.extraClassPath의 차이점

나는 원사 클라이언트 모드에서 spark-submit을 사용하고 classNotFound Exception을 얻으려고 spark 프로그램을 실행하려고합니다. 그래서 내 질문은 내 항아리 (- 항아리 또는 - 드라이버 클래스 경로) 매개 변수를 전달해야합니다. 스파크 = 2.0.0 HDP 2.5 하둡 = 2.7.3

0열

1답변

flume로드 파일을 hdfs에로드하는 방법, hdfs는 파일 .tmp를 닫지 않으며 파일 이름을 파일 이름으로 바꿉니다.

실제로 두 가지 질문이 있습니다. 첫 번째 질문은 : 전체 파일이 flume 에이전트에 의해 플러시 된 후 HDFS 닫기 파일 (예 : .123456789.tmp)을 만드는 방법입니다. 실제로 파일이 닫힐 때까지 절대로, 나는 강제로 flume 에이전트를 멈추지 않습니다. 내가 HDFS에서 각 파일 이름을 유지할 필요가있는 동안 hdfs.rollSize =

1열

1답변

Eclipse에서 hadoop 소스 코드에서 추측 실행을 해제하는 방법

hadoop 소스 코드에서 해제해야하고 Eclipse에서 해당 패키지를 찾을 수 없습니다. https://hadoop.apache.org/docs/stable/api/org/apache/hadoop/mapreduce/Job.html#setReduceSpeculativeExecution%28boolean%29

1열

1답변

/tmp (다시 포맷 한 후에도)에서 파일을 제거한 후 Hadoop HDFS가 작동하지 않음

실수로 sudo rm -rf /tmp/*을 수행하고 Hadoop HDFS가 손상된 것처럼 보였습니다. HDFS를 다시 포맷하고 모든 데몬을 다시 시작했지만 불행하게도 여전히 작동하지 않습니다. , HDFS에서 폴더를 만들 수 있었지만 어떤 파일도 -copyFromLocal으로 복사 할 수 없습니다. 내 하둡 버전 : 나는 데이터 노드 데몬을 확인할 때, 그

0열

1답변

"hbase org.apache.hadoop.hbase.mapreduce.Import"를 실행하면 Row 길이가 0이됩니다.

hbase 버전 0.98 클러스터에서 hbase 버전 1.2.0-cdh5로 테이블을 복사하고 싶습니다. 7.3 클러스터. 는 명령을 실행 hbase org.apache.hadoop.hbase.mapreduce.Import -Dmapreduce.job.queuename= -Dhbase.import.version=0.98 -Dmapreduce.map.specu

0열

1답변

Hadoop에 필요한 RAM 용량이 필요한 이유는 무엇입니까?

Hadoop 컨테이너에는 데이터 크기가 0.5GB 인 데이터를 테스트하는 데 사용하는 데이터 크기가 실제로 두 배가되는 RAM이 더 필요합니다. 이유는 너무 많습니다. 실제 메모리 및 가상 메모리 개념에 대한 개념은 무엇입니까? 때로는 실제 메모리에서 500MB의 100MB와 같은 예외가 발생하지만 가상 메모리에서 2.5GB는 2GB를 초과합니다. 일반적으

0열

1답변

HDFS 데이터 크기와 하이브 데이터 크기의 차이

하이브에 테이블이 있습니다. I 명령 show tblproperties myTableName를 실행할 때 , 그것은 결과 이하 준다 :는 numFiles 12 numRows 1688092 rawDataSize 934923162 totalSize 936611254 rawDataSize is 934.92 MB and totalSize is 9

1열

1답변

단일 노드에서 여러 매퍼를 동시에 실행하는 방법

Mac에서 Hadoop 2.8.0을 사용하고 있습니다. 모든 매퍼를 동시에 실행하고 싶습니다. 필자는 입력 파일을 두 개 이상 분할하고 둘 이상의 입력 파일을 사용하여 여러 매퍼가 만들어 지도록 노력했습니다. 생성되지만 순차적으로 실행됩니다. finising 작업 **** _ m_0 ............... 시작 작업 **** _ m_0 :이 같은 출력

0열

1답변

Hadoop - 주 클래스를 찾거나로드 할 수 없습니다. org.apache.hadoop.hdfs.qjournal.server.JournalNode

저널 노드를 실행하려고하면 실패합니다. folowing 오류 : ./hadoop-daemon.sh start journalnode Error: Could not find or load main class org.apache.hadoop.hdfs.qjournal.server.JournalNode 무엇이있을 수 있습니까? 여기 는 여기 <?xml ver

1열

2답변

Ambari HDP 2.5.0에서 SPARK 개별 업그레이드 2.1.0

Ambari의 기본 2.0.x.2.5에서 내 SPark 구성 요소를 2.1.0으로 업그레이드하려고합니다. Ambari 2.4.2와 함께 HDP 2.5.0을 사용하고 있습니다. 이것을 달성하기 위해 어떤 아이디어라도 감사하십시오.