0
sqoop의 기본 매퍼와 감속기는 몇 개입니까? (4-mappers, 0-reducers).감속기 수 (sqoop)
--where 또는 --query 조건을 sqoop import으로 사용하면 얼마나 많은 감속기가 있습니까? 로컬 클러스터
그것이 Sqoop을 사용 설명서에 따라 같이 --where or --query condition
A
답변
1
사용 후 0 감속기를 도시하고, 대부분의 데이터베이스 원으로부터 평행 Sqoop을 수입 데이터. --num-mappers
인수를 사용하여 가져 오기를 수행하는 데 사용할 맵 작업 (병렬 프로세스) 수를 지정할 수 있습니다. 기본적으로 4 개의 작업이 사용됩니다. 마치 집계 작업을 수행하지 않는 것처럼 감속 작업은 0이됩니다. 자세한 내용은 http://sqoop.apache.org/docs/1.4.6/SqoopUserGuide.html#_free_form_query_imports
1
Sqoop을 작업은 지도에만이다. 감속기 단계가 없습니다.
예를 들어, 4 개의 매퍼를 사용하여 MySQL에서 HDFS로 sqoop을 가져 오면 4 개의 동시 연결이 생성되어 데이터 가져 오기가 시작됩니다. 4 매퍼 작업이 생성되었습니다. 데이터는 HDFS 파트 파일에 기록됩니다. 감속기가 없습니다.
지도 출력은 디스크에서 로컬이므로 감속기가없는 hdfs로 데이터가 이동되는 방법 –