sqoop2

1열

2답변

SQOOP 증분 가져 오기 : 행이 데이터베이스에서 삭제 될 때 데이터를 처리하는 방법은 무엇입니까?

열 (emp_id, emp_name, emp_age, emp_update_ts)이있는 직원 테이블이 있다고 가정하면 테이블에 업데이트가있을 때마다 updat_ts 필드가 현재 시간 소인으로 자동 갱신됩니다. 이제 내 질문 : 테이블의 행을 업데이트/삽입하고 lastmodified와 함께 증분 sqoop 가져 오기를 실행하면 내 데이터베이스와 hdfs가 동기

1열

1답변

Eclipse에서 sqoop2 응용 프로그램 프로젝트를 설정하는 방법은 무엇입니까?

나는 Sqoop Client API Guide을 참조하고 있습니다. 가이드 안의 내용은 다음과 같습니다 : Sqoop 클라이언트 JAR 및 그 종속성이 필요합니다. 그런 다음 받는다는 종속성 나열 <dependency> <groupId>org.apache.sqoop</groupId> <artifactId>sqoop-client</artif

0열

1답변

sqoop 작업에 대해 vcores를 설정하는 방법

sqoop은 실행을 위해 vcores를 어떻게 받습니까? 4 개의 매퍼가있는 sqoop 작업을 제출하면 약 50 개의 vcores를 사용할 수있는 경우에도 1 개의 vcore로 시작됩니다. 그래서 아무 parelllization도 없다. 이것은 텍스트 파일로 import sqoop 작업입니다. 이들은 vcrore 할당과 관련된 원사의 구성 매개 변수입니다.

0열

1답변

Sqoop2 서버 (1.99.7)를 시작할 때 hadoop 구성 클래스를 찾을 수 없습니다.

Hadoop을 최신 버전의 Sqoop2 (1.99.7)로 테스트하고 sqoop2-server를 실행할 때 다음과 같은 오류 : Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/hadoop/conf/Configuration at org.apache.sqoop.security.aut

0열

3답변

Sqoop을의 평가를 통해

Sqoop을 평가 명령을 MySQL의 속성을 전달하기 : sqoop eval --connect 'jdbc:mysql://<connection url>' --driver com.mysql.jdbc.Driver --query "select max(rdate) from test.sqoop_test" 나에게 출력을 제공 : 경고 : /usr/hdp/2.3.2.

0열

1답변

SQOOP : 게시 DB로 내보내기 전에 입력 데이터 사용자 정의

입력 데이터를 hdfs에서 sqoop를 통해 postgress db로 내보내려고합니다. 입력 데이터가 postgress 테이블과 함께 적절한 형식 일 때이 작업을 수행 할 수 있습니다. 하지만 DB에 내보내기 전에 입력 데이터에 일부 연산을 수행하고 싶습니다. 입력하기 전에 각 값에 일부를 더하고 싶다고 말하면됩니다. 그래서 Sqoop을이 peform받는

0열

1답변

작은 크기의 더 많은 부분으로 sqoop

나는 10 개의 매퍼가있는 sqoop stmt를 가지고 있습니다. 전체 데이터는 각 부분이 1GB를 초과하는 10 개의 부분으로 나뉘어져 있습니다. 데이터를 여러 개의 파일로 나누고 싶습니다. 10 개 이상은 말할 필요도 없으며 각각 200MB의 파일 50 개를 만듭니다. 그러나 DB 병목 현상 문제 때문에 sqoop에서 10 개 이상의 매퍼를 만들 수 없

0열

1답변

SQOOP를 사용하여 변경 데이터를로드하고 업데이트하는 방법은 무엇입니까?

증분 가져 오기으로 시도했지만 그 중 에 또는 으로 마지막으로 수정 된을 추가해야합니다. 수정 된 레코드와 새로운 레코드가 모두 필요합니다.

0열

1답변

Sqoop의 직접 커넥터는 무엇입니까?

알다시피 Sqoop 작업은 특정 데이터베이스에 대한 JDBC 드라이버와 함께 커넥터를 사용하여 데이터베이스에 연결됩니다. 그러나 Sqoop 문서에서 언급 한대로 --direct 옵션 성능이 향상되었습니다. '직접 'mode import.How는 JDBC 드라이버를 사용하는 일반 커넥터와 다릅니다. 설명서를 읽었지만 명확한 이해를 얻지 못했습니다. 또한 Te

0열

1답변

Stratio Sqoop을 여기에 설명 된대로 내가 stratio Sqoop을 고정 표시기 컨테이너를 당긴 하둡 라이브러리

누락의 불평 : https://stratio.atlassian.net/wiki/display/SQOOP0X2/Example+mysql+to+kafka 하지만 경우는 MySQL과 카프카 사이에 링크를 만드는 과정을 시작합니다. 단계 는 하둡 라이브러리 누락의 불평 "링크 -c 일반적인-JDBC 커넥터를 만듭니다." 다른 이유가 있습니까? 들으