Sqoop MySQL로 내보내기 HDFS가 실패합니다.

Question

어디서 잘못 가고 있는지 모르지만 HDFS에서 MySQL로 내 Sqoop 내보내기 명령을 실행할 때마다 실패합니다.

sqoop export --connect "jdbc:mysql://quickstart.cloudera:3306/streaming" 
--username root --password cloudera --table pd_count --update-key id 
--update-mode allowinsert --export-dir /user/cloudera/input/* -m 1 --batch 

이 수출 디렉토리 만 1 폴더이며, 즉 3 개 파일을 포함,

1. 부분-m-00000
2. 부분-m-00001
3. 파트 M- 00002

--update 인수에 대해 알기 위해 마지막 파일을 갱신했습니다. 그러나 내가 시도한 순열이 아무리 많아도 그 일은 실패합니다.

1. 데이터를 증분 업데이트없이 MySQL로 내보내고 데이터를 성공적으로 내 보냅니다.
2. "증분 추가"를 사용하여 HDFS로 데이터를 가져 오는데 성공했습니다.
3. 그러나 "update-key"및 "update mode"를 사용하여 MySQL로 데이터를 내보내려고하면 전송되지 않고 실패합니다.

위의 명령이 마지막으로 사용한 명령이었습니다.

다음은 최근 오류 로그입니다. link, 도와주세요.

미리 감사드립니다.

Answer 1

알았어요, 당신이 확장 된 로그를 다시 한 번 내보내기에 사용 --verbose 아래의 옵션

1. 를 사용해보십시오 different.Could 뭔가를 가정했다.
2. 실패한 응용 프로그램에서 응용 프로그램 로그를 볼 수 있습니다. 을 가져 오려면 Sqoop 명령을 실행 한 사용자로 다음 명령을 실행하십시오. yarn logs -applicationId application_1513399439223_0001 > app_logs.txt.
3. --input-fields-terminated-by을 추가하지 않은 것 같습니다.

최근 코멘트에 따라 답을 업데이트 난 당신이 job.It 아래의 조정 및 다시 Sqoop을 실행하려고 performance.Please과 관련이있을 수도 죽일 참조

:

• 는 일괄 적으로 데이터를 삽입 4 -m 4
• 에 매퍼의 수를 설정 --batch
• 사용 부동산 sqoop.export.records.per.statement는 sqoop export -Dsqoop.export.records.per.statement=100 --connect
• 마지막으로 문 삽입 각에 사용되는 레코드의 수를 지정 sqoop.export.statements.per.transaction 속성과 거래 당 삽입 할 행 수를 지정합니다.sqoop export -Dsqoop.export.statements.per.transaction=100 --connect

실 로그를 제공하고 데이터 양은 얼마입니까?