데이터베이스에서 데이터를 마루판 형식으로 HDFS로 가져 와서 하이브 테이블을 채 웁니다. sqoop이 --target-dir에서 하이브 메타 스토어 디렉터리로 데이터를 이동하기 때문에 sqoop import --hive-import을 사용할 수 없습니다. 그래서, HDFS에서 적절한 파일을 가리 마지막 sqoop import --as-parquet-fil
과거로드를 수행하는 동안 데이터를 청크로 배치 할 수있는 방법을 파악하려고합니다. 내가 3 년간의 데이터를 가지고 있고 내가 sqoop을 트리거 할 때, 모든 데이터를 하나씩 가져 와서 HDFS를 밀어 넣는 시나리오를 생각해보십시오. 나는 클러스터에 압력을 가하는 것을 피하고 싶다. 위의 대신에 sqoop에게 한 번에 3 년간의 데이터를 모두로드하는 대신
테이블을 수동으로 생성하지 않고 헤더 (100+ 컬럼)가있는 큰 csv 파일을 MySQL로 가져 오려고합니다. MySQL Workbench에서 Sqoop 또는 다른 Hadoop 도구에 이르는 도구를 사용할 준비가되었습니다. 해결책을 찾으려고했지만 적절한 대답을 찾지 못했습니다. 또는 대답이 너무 오래되어 불가능하다고 말했습니다.
sqoop 1.4.6을 사용하여 Oracle 데이터베이스에서 HDFS로 데이터를 가져 오려고합니다. --table table_name 또는 --query SELECT <...> 문을 사용하여 HDFS 또는 하이브 테이블에 간단한 가져 오기를 수행하는 데 아무런 문제가 없습니다. 그러나 내 질문 : 특정 PL/SQL 프로 시저를 먼저 실행하여 테이블을 가져
오라클 데이터베이스에 연결하여 레코드 수를 확인하려고합니다. Scenario-1:
[[email protected] ingestion]$ sqoop eval --connect jdbc:oracle:thin:@//hostname_1:PORT_1/Service_1 --username USER --password PASSWORD --query 'sele
저는 Big Data의 초보자입니다. sqoop을 사용하여 Oracle에서 Hive로, 그리고 Cloudera administration에서 사용중인 명령의 예를 마이그레이션하고 있습니다. sqoop import -D mapred.child.java.opts="\-Djava.security.egd=file:/my_url" \
-D mapreduce
sqoop 가져 오기를 사용하여 MySql에서 HDFS로 utf8 데이터를 가져옵니다. 데이터가 utf-8 일 때 문제가 없지만 잘 작동합니다. 원본 MySql 테이블은 utf-8과 호환되지만 sqoop이 가져 오는 동안 데이터를 변환하는 것처럼 보입니다. 예 - 소스 값 - л.с. ». HDFS로. 현재 MySQL을 (v5.6.10) 문자는 아래에 주
우리는 Sqoop을 평가 성공적으로 실행할 수 있지만 Sqoop을 가져 오기 sqoop import --driver oracle.jdbc.OracleDriver --connect "jdbc:oracle:thin:@//*.*.*.*:1521/dbname"
--username **** -P --query "select * from Tablename WHERE