2017-02-02 4 views
0

kerborized CDH 클러스터를 사용하고 있습니다. 클러스터에 사용자를 추가하는 동안 hadoop 배포판 클러스터와 마찬가지로 게이트웨이/에지 노드에만 사용자를 추가했습니다. 그러나 새로 추가 된 사용자 ID로는 map-reduce/yarn 작업을 실행할 수 없으며 "사용자를 찾을 수 없음"예외가 발생합니다.보안 클러스터에 Hadoop 사용자 추가

내가 이것을 조사했을 때 보안 클러스터에서 원사 작업을 실행하라는 링크 https://hadoop.apache.org/docs/stable/hadoop-yarn/hadoop-yarn-site/SecureContainer.html이 발생했습니다. 보안 컨테이너가 다음 위치의 자격 증명에 따라 실행될 때 모든 노드에 해당 사용자가 있어야 할 수도 있습니다. 작업 사용자.

모든 노드에 해당 userID를 추가 했으므로 작업이 실행 중입니다. 이 경우 클러스터에 약 100 개 이상의 노드가있는 경우 각 사용자 ID에 대한 사용자 프로비저닝은 지루한 작업이됩니다.

프로젝트 구현시 동일한 시나리오를 발견하면 누구나 다른 효과적인 방법을 제안 할 수 있습니까?

+0

모든 포인터, 제발? – user3178812

답변

0

난이도에 따라 여러 가지 방법이 있습니다 (단순한 것에서부터 고통스러운 것까지).

하나는 모든 사람이 작업을 실행하는 데 사용하는 구직자 사용자를 갖는 것입니다.

구성 관리 도구를 사용하여 클러스터의/etc/passwd 및/etc/group (chef, puppet)을 정기적으로 (1 시간 -1 일) 동기화하거나 cron 작업을 사용하여이 작업을 수행 할 수 있습니다 .

그렇지 않으면 Centrify (상업용), VAS (상업용), FreeIPA (무료) 또는 SSSD (무료)와 같은 오픈 소스 Linux/UNIX 사용자 매핑 서비스를 구입하거나 사용할 수 있습니다.

Active Directory 서버 또는 LDAP 서버를 사용하는 경우 Hadoop LDAP 사용자 매핑을 사용하십시오.

참고 :이 문제에

https://community.hortonworks.com/questions/57394/what-are-the-best-practises-for-unix-user-mapping.html

https://www.cloudera.com/documentation/enterprise/5-9-x/topics/cm_sg_ldap_grp_mappings.html