aws datapipeline s3 to mysql error

Question

MySQL에 S3에있는 40GB 파일 (약 90MB 크기의 520 개 부품으로 나누어 짐)을로드하려고합니다. MySQL에 aws 데이터 파이프 라인 S3를 만들었습니다.

로드하기 전에이 레코드를 하이브에서 처리 한 다음 S3에 출력 파일을 저장했습니다. 파일의 일부 레코드는 NULL 값을 나타 내기 위해 \ N을 포함합니다. 레코드 데이터를로드하려고하면 파이프 라인이 실패합니다. 그러나 MYSQL에로드하는 동안 NULL 값을 처리 할 수 ​​있으므로 SQOOP도로드 할 수 있습니다.

데이터 파이프 라인을 사용하여 S3에서 MySQL에서 이러한 레코드를로드 할 수 있는지 여부를 알 수있는 사람이 있습니까? 설정할 수있는 JDBC 속성이 있습니까?

Answer 1

예 연결 문자열을 아래 구문으로 변경하면 매우 쉽게 수행 할 수 있습니다. jdbcCompliantTruncation을 false로 설정해야합니다.

jdbcCompliantTruncation=false 

그래서 연결 문자열은 다음과 같이 보일 것입니다.

JDBC한다 : mysql : // 내-RDS-엔드 포인트 : 3306/my_db_name jdbcCompliantTruncation = 거짓