내가 가져-모든 테이블을 위해 Sqoop을 통해하려고 할 때 다음과 같은 오류를 받고 있어요에 : Sqoop을을 수입하는 모든 테이블 12 -m - --username = retail_dba --password = 클라우 데라 --warehouse-DIR =/R/클라우 데라는/sqoop_import Please set $ACCUMULO_HOME to
여기에 sqoop 작업을 만들려고하는데 그 던지는 오류 FYI : 직접 sqoop 가져 오기를 시도했을 때 제대로 작동합니다. 하지만 sqoop job --create myjob \
--import \
--connect jdbc:mysql://ip-171-33-113-14:3306/sqooped \
--username squser \
--passwo
Sqoop 작업은 완벽하게 작동합니다. 매번 실행할 때마다 새로운 데이터가 MySQL에 들어올 때 마지막 값이 추가됩니다. 내 질문은 1) 마지막 값이 저장되는 위치는 무엇입니까? 2) 마지막 값의 위치를 탐색 할 수 있습니까? 3) 마지막 값의 위치를 변경할 수 있습니까? sqoop job --create myjob3 \
-- import \
테이블을 수동으로 생성하지 않고 헤더 (100+ 컬럼)가있는 큰 csv 파일을 MySQL로 가져 오려고합니다. MySQL Workbench에서 Sqoop 또는 다른 Hadoop 도구에 이르는 도구를 사용할 준비가되었습니다. 해결책을 찾으려고했지만 적절한 대답을 찾지 못했습니다. 또는 대답이 너무 오래되어 불가능하다고 말했습니다.
오라클 데이터베이스에 연결하여 레코드 수를 확인하려고합니다. Scenario-1:
[[email protected] ingestion]$ sqoop eval --connect jdbc:oracle:thin:@//hostname_1:PORT_1/Service_1 --username USER --password PASSWORD --query 'sele
저는 Big Data의 초보자입니다. sqoop을 사용하여 Oracle에서 Hive로, 그리고 Cloudera administration에서 사용중인 명령의 예를 마이그레이션하고 있습니다. sqoop import -D mapred.child.java.opts="\-Djava.security.egd=file:/my_url" \
-D mapreduce
자바를 사용하여 점진적 가져 오기를 수행하고 있습니다. 그러나 나는 이미 존재하는 직업을 사용하는 방법을 얻지 못하고있다. 나는 가 지금 실행해야한다, 나는 이것에 대한 코드를 작성했습니다 sqoop job --create moviesJob1 -- import --connect jdbc:mysql://localhost/mydb --username root
sqoop은 실행을 위해 vcores를 어떻게 받습니까? 4 개의 매퍼가있는 sqoop 작업을 제출하면 약 50 개의 vcores를 사용할 수있는 경우에도 1 개의 vcore로 시작됩니다. 그래서 아무 parelllization도 없다. 이것은 텍스트 파일로 import sqoop 작업입니다. 이들은 vcrore 할당과 관련된 원사의 구성 매개 변수입니다.
sqoop은 하이브로 동적 파티셔닝을 지원합니까? 제가 후술하는 옵션을 사용하여 시도 는 : Sqoop을 가져 --connect "JDBC : MySQL은 : --hive 파티션 키와 --hive = 파티션 vlaue 예는 정적 파티션 위한//quickstart.cloudera:3306/prac " - 사용자 이름 루트 - 패스워드 cloudera - 하이