2017-10-08 8 views
1

저는 여러 사용자가 동일한 파이썬 파일이나 zip 콘텐츠의 약간 다른 버전을 업로드 할 때 충돌을 피하는 데 특히 관심이 있습니다.다중 사용자 dask.distributed 클러스터에서 파이썬 환경을 분리하기위한 옵션은 무엇입니까?

작업자 프로세스가 장기 실행되고 다른 환경의 변경/추가에 따라 실제로 지원되는 사용 사례가 아닌 것 같습니다.

로컬/원격 컨텍스트 스위칭이 용이 한 라이브러리가 좋기 때문에 사용자 별 작업자 프로세스를위한 원활한 배포와 같은 단계를 의미하는 경우에도 우리가 가질 수있는 옵션에 대한 통찰력을 얻을 수 있습니다.

답변

0

일반적으로 다른 사용자 환경을 가진 솔루션은 Kubernetes, Marathon 또는 Yarn 같은 다른 작업 스케줄러의 위에 다른 Dask 작업자/스케줄러의 네트워크를 실행하고 파괴하는 것입니다.

dask 작업자와 동일한 세트를 다시 사용해야 할 경우 workers= 키워드를 일관되게 지정하는 데주의해야하지만 오류가 발생하기 쉽습니다.

+1

감사합니다. Matt. 우리는이 접근법을 조사 할 것입니다. 우리는 견고한 원사 클러스터 (주로 Spark 앱)를 가지고 있지만, 지금까지 Marathon (개별 클러스터)에 대한 테스트를 테스트 해 왔습니다. 마라톤과는 반대로 원사에 dask.distributed에 대한 모든 예약은? 나는 어떤 통찰력을 주셔서 감사합니다. – snomar

+0

원사는 마라톤보다 사용하기가 즐겁습니다. 나는 [니트] (https://github.com/dask/knit)를 시험해보고 이슈 트래커에 문제를보고 할 것이다. 개발자가 적극적으로 사용 사례를 찾고 있습니다. 당신이 그들과 마주 치면 버그를보고하는 사람을 기쁘게 해줄 것이라고 확신합니다. – MRocklin