명령 줄에 원칙을 추가 한 후에도 HDFS 위임 토큰이 만료되었습니다.

나는 hadoop에서 스파크 스트리밍 작업을 실행 중입니다. 기계가 kerberized하고 42 시간 동안 잘 실행하고 HDFS 토큰 위임 만료로 인해 실패합니다.명령 줄에 원칙을 추가 한 후에도 HDFS 위임 토큰이 만료되었습니다.

나는 8 시간마다 실행되는 kinit 명령에 대해 crontab을 설정하고 10 시간 동안 최대 갱신 수명 토큰을 갖습니다.

Failed due to error: org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.security.token.SecretManager$InvalidToken): token (HDFS_DELEGATION_TOKEN token

나는 또한 작업을 시작하는 동안 명령 줄에서 원칙에 따라 작업을 실행하고 있습니다.

출처

2016-09-16 Mahadevan

문제 해결 ...! 작업을 시작하는 동안 명령 행을 시작하기 위해 다음 구성을 추가했습니다.

--conf spark.hadoop.fs.hdfs.impl.disable.cache=true

또는 원사 구성 수준에서 이것을 변경할 수 있습니다.

3 일 동안 정상적으로 작동하는지 테스트했습니다.

감사

출처

2016-10-07 20:43:42 Mahadevan

또한이 일주일 이상 작업을 실행하도록 도와주었습니다 "= --conf mapreduce.job.complete.cancel.delegation.tokens을 false"를 추가하는 시도하고는 해결됩니다 ..! – Mahadevan

spark streamming job을 제출할 때 "--conf spark.hadoop.fs.hdfs.impl.disable.cache = true"및 "--conf mapreduce.job.complete.cancel.delegation.tokens = false"를 추가합니다. 작동하지 않습니다. – leocook

명령 줄에 원칙을 추가 한 후에도 HDFS 위임 토큰이 만료되었습니다.

답변

관련 문제