apache-sqoop

0열

1답변

Microsoft Azure HDInsights Hadoop Cluster에서 Oracle 데이터베이스의 데이터를 Hive 스키마로 직접로드하는 SQOOP 작업이 있습니다. 그러나 기반 필드 (예 : varchar 변수)를 가져올 때 문자열로 가져 오는 것으로 나타났습니다. 이것은 잘못된 것이 아니며 완벽하게 작동합니다. 그러나 Hive Database의

0열

2답변

SQOOP - 가져 오기 실패 : Null 문자열에서 경로를 만들 수 없습니다.

SQL 서버에서 SQOOP 증분 업데이트를 사용하여 HBase 테이블로 테이블을로드 중입니다. 그러나 SQL 테이블의 null 값은 HBase로 가져올 수 없습니다. 나는 Hbase가 null 값을 지원하지 않으며 null을 포함하는 필드가 Hbase에 존재하지 않는다는 것을 이해합니다. 하지만 내 관심사는 특정 레코드가 필드에 값이있는 경우에도 대부분의

0열

1답변

Sqoop : 복수 문자 구분 기호

하이브 테이블의 내 필드 중 하나에 모든 특수 문자가 포함되어 있으므로 MultiDelimitSerDe (~ #)를 사용하여 하이브 필드를 구분했습니다. 이제 이러한 데이터를 Sqoop 내보내기를 사용하여 My sql로 내 보내야합니다. 그리고 Sqoop이 여러 분리 문자로 내보내지지 않습니다. 다른 방법이 있습니까? 이 필드는 데이터 유형이 - date,

1열

2답변

sqoop 명령에서 Hadoop 사용자 설정

sqoop 명령을 다른 사용자로 실행하고 싶습니다. 내가 mapreduce.map.memory.mb 옵션을 설정하는 방법과 유사한 Sqoop을 명령에서이를 설정하는 방법이 있는지 궁금 해서요 export HADOOP_USER_NAME=desiredUser sqoop import \ -D mapreduce.map.memory.mb=4096 \ -D m

0열

1답변

HDFS에서 Kudu로 데이터로드

Kudu 테이블에 데이터를로드하려고했지만 이상한 결과가 나타납니다.이 drop table if exists hdfs_datedim; create external table hdfs_datedim (...) row format delimited fields terminated by ',' location '/user/me/DATEDIM'; 하는

0열

1답변

sqoop 가져 오기 ClassNotFountException 오류를 보여주는 mysql 테이블을 식별하지 않습니다.

나는 mysql 테이블 "고객"을 가지고 있으며 sqoop 가져 오기를 사용하여 MySQL에서 hdfs 위치로 데이터 가져 오기를 시도했습니다. Sqoop을 버전 : 1.4.6 하이브 버전 : 2.3.0 하둡 버전 : 2.8.1 Sqoop을 가져 오기 명령 : 아래는 내가 내 컴퓨터에 설치되어있는 버전입니다 sqoop import --connect jdbc

0열

1답변

HCATALOG를 사용하여 Java API, Sqoop.runTool을 통해 sqoop 1.4.6을 호출하려고 할 때의 오류

Oracle 데이터베이스에서 가져 오기 위해 Sqoop.runTool을 호출 할 때. 2017년 9월 18일 09 : 04 : 47,546 INFO [주] org.apache.hadoop.service.AbstractService : 서비스 org.apache 시간이되면지도 그리고 줄이 실행 그것이 HCATALOG 클래스를 찾을 수 없습니다입니다입니다 .h

0열

1답변

Sqoop의 직접 커넥터는 무엇입니까?

알다시피 Sqoop 작업은 특정 데이터베이스에 대한 JDBC 드라이버와 함께 커넥터를 사용하여 데이터베이스에 연결됩니다. 그러나 Sqoop 문서에서 언급 한대로 --direct 옵션 성능이 향상되었습니다. '직접 'mode import.How는 JDBC 드라이버를 사용하는 일반 커넥터와 다릅니다. 설명서를 읽었지만 명확한 이해를 얻지 못했습니다. 또한 Te

0열

1답변

cloudera hadoop UI를 사용하여 sqoop incremental 자동화하기

timestamp가 아닌 다른 컬럼 값을 사용하여 sqoop 가져 오기를 자동화하는 방법이 있습니까? 테이블에 하나의 열 (ID)을 사용하려고했습니다. 그러나 그것은 효과가 없었습니다. 아래는 샘플 코드이며 cloudera hadoop UI를 사용하여 자동화하고 있습니다. 마지막 값이 자동으로 업데이트되지 않는 것이 문제입니다. import

-1열

1답변

kerberos 보안이있는 Sqoop이 cron에서 작동하지 않는 경우 GSSException이 발생합니다

에지 노드에서 sqoop 작업을 실행할 때 해당 작업이 잘되고 Oracle에서 데이터를 추출 할 수 있지만 crontab에서 동일한 작업을 예약하면 kerberos 보안 오류가 발생합니다. 동일한 문제가 hortonworks 사이트 (링크 참조)에서보고되었지만 유효한 답변이 없습니다. https://community.hortonworks.com/questi