sqoop

1열

1답변

Sqoop 동적으로 하이브 파티셔닝 된 테이블을 오라클에서 생성하고 데이터를 임포트합니다.

오라클 (테이블 이름은 TRCUS) 테이블에 & 월을 기준으로 파티셔닝 된 고객의 세부 정보가 있습니다. 오라클에서 파티션 이름 : PERIOD_JAN_13, PERIOD_FEB_13, PERIOD_JAN_14, PERIOD_FEB_14는 등 지금 내가 직접 Sqoop을을 사용하여 HIVE에이 테이블의 데이터를 가져올. Sqoop 작업은 하이브 테이블을 만

0열

1답변

Sqoop을 Oracle에서 Hive로 가져 오기 - 오류 tool.ImportTool : 가져 오기 실패 : 데이터 가져 오기 중 entity_idfound 이름으로 열이 없습니다.

RDBMS (oracle)에서 하이브로 데이터를로드 할 때 Sqoop 가져 오기를 사용하고 있습니다. --map-column-hive 옵션을 지정하지 않으면 데이터가 문제없이로드되지만 데이터 유형이 예상과 다릅니다. 여기 소스 코드 --map 열 - 하이브 'ae_header_id = BIGINT, APPLICATION_ID = SMALLINT, ENTIT

-2열

1답변

ParseException 라인 1 : 0 'sqoop' 'import'근처의 입력을 인식 할 수 없습니다 '<EOF>'oracle에서 hadoop 테이블 가져 오기

oracle에서 hadoop으로 1 개의 테이블을 가져 오려고합니다. 여기 내 검색어입니다 sqoop import--connect jdbc:oracle:thin:@cweprda:1521/cwe_badge --table A608232_MYVOICE_WITH_INT_ID --username ******--password ****** -m 1 \ --crea

0열

2답변

sqoop 내보내기 성능 조정

AWS EMR에서 sqoop을 사용하여 2030 레코드을 하이브에서 Oracle 데이터베이스로 내보내고 있습니다. 이미 성능을 높이는 데 도움이 된 --batch 및 --num-mappers 매개 변수를 시도했습니다. 튜닝 -Dsqoop.export.statements.per.transaction과 -Dsqoop.export.records.per.state

0열

1답변

sqoop 가져 오기 ClassNotFountException 오류를 보여주는 mysql 테이블을 식별하지 않습니다.

나는 mysql 테이블 "고객"을 가지고 있으며 sqoop 가져 오기를 사용하여 MySQL에서 hdfs 위치로 데이터 가져 오기를 시도했습니다. Sqoop을 버전 : 1.4.6 하이브 버전 : 2.3.0 하둡 버전 : 2.8.1 Sqoop을 가져 오기 명령 : 아래는 내가 내 컴퓨터에 설치되어있는 버전입니다 sqoop import --connect jdbc

1열

1답변

Sqoop의 날짜 형식을 SQL Server에서 증분 가져 오기로 변경하십시오.

TL; DR - Sqoop이 사용하는 날짜 형식을 변경할 수 있습니까? Sqoop (버전 1.4.6)을 사용하여 SQL Server에서 데이터를 가져오고 datetime 열을 my --check-column으로 지정합니다. Sqoop은 yyyy-MM-ddd hh : mm : ss.SSS 형식의 날짜를 사용하여 데이터베이스를 쿼리합니다. 그러나 SQL 서버는

1열

1답변

Sqoop pipe delimiter

저는 sqoop을 처음 사용합니다. 나는 오라클 테이블 sqoop import --connect jdbc:oracle:thin:<username>/<password>@<IP>:1521:MSDP2 --query "select * from table_name where \$CONDITIONS AND created=TRUNC(TO_DATE('20171101','

1열

1답변

스파크 작업이있을 때 Hadoop - Sqoop 작업이 ACCEPTED에서 멈춤 RUNNING

현재 실행해야 할 스파크 작업 (java)이 있습니다. 너무 많은 리소스가 필요하지 않습니다. 그러나 sqoop 작업 (MapReduce)을 실행할 때마다 작업이 ACCEPTED : AM 컨테이너가 할당되고 시작되고 RM에 등록 될 때까지 대기합니다. 나는 Ambari를 확인했고 일정을위한 spark 설정은 FAIR입니다. 테스트를 위해 동일한 불꽃 작업

0열

1답변

이미 HDFS에있는 파일에 가입하여 sqoop을 사용하여 가져올 수 있습니까?

저는 하이브에 sqoop을 사용하여 데이터를 가져오고 자하는 일부 ID를 가지고 있습니다. 그러나 ID 개수가 너무 많아 수동으로 제공 할 수 없습니다. 최소한의 노력으로 어떻게이 작업을 수행 할 수 있습니까? 모든 안내는 대단히 감사하겠습니다. 미리 감사드립니다. :)

1열

1답변

조인이 포함 된 테이블에서 증분 Sqoop을 수행 하시겠습니까?

원본 시스템 데이터웨어 하우스에서 HDFS로 배치하려고하는 매우 큰 테이블이 있지만 한정된 대역폭을 사용합니다. 필자가 필요로하는 컬럼을 끌어오고 테이블을 가져 오는 런타임을 최소화하고 싶습니다.는 Sqoop을 현재 같은 것을 가져옵니다 : SELECT ColumnA, ColumnB, .... ColumnN FROM