0
.py 파일의 폴더에서 읽는 데 걸리는 시간을 계산하는 프로그램을 작성하고 싶습니다. 각 파일의 순환 복잡도를 계산합니다. 복잡성을 계산하기 위해 라돈을 설치했지만, 각 작업자에게 라돈을 사용하여 계산 된 폴더에 별도의 파일이 제공되는 n 명의 근로자를 생성하는 분산 시스템을 구현할 수 있기를 원합니다.Python + 분산 - Dask를 사용하여 폴더에서 동시에 파일을 분리하는 함수를 적용하여 작업자 집합을 활용할 수 있습니까?
저는 분산 시스템에 dask를 사용하고 있습니다. 위의 내용을 달성 할 수 있는지 궁금합니다. 나는. 10 개의 .py 파일로 된 폴더가 있다면 모든 파일을 읽고 복잡성을 계산하는 1 명의 작업자를 만들 수 있습니다. 그런 다음 내 프로그램은 작업을 수행하는 데 걸리는 시간을 기록합니다. 또는 작업 (예 : 계산할 파일)을 찾을 작업자 노드를 10 개 지정할 수 있으며 각 작업자 노드는 파일을 가져 와서 동시에 실행 한 다음 프로그램이 작업을 수행하는 데 걸리는 시간을 기록합니다.
나는 함수를 호출하는 dask를 사용하여 기본 프로그램을 설정했지만 함수를 호출하고 결과를 반환하는 집합 작업자에게 배포되는 항목 목록을 제공 할 수 있는지 확신 할 수 없습니다.
dask를 사용하면 가능합니까?
짧은 답변 : 예,이 완전히 가능하며, DASK에 대한 매우 일반적인 패턴. 아마도 당신이 당신의 문제를 기술 할 수 있다면, 우리는 당신을 더 도울 수 있습니까? – mdurant
나는 각 파일의 복잡성을 계산하는 프로그램을 원한다. (필자는 파이썬 .py 파일들을 포함하고있다.) 폴더를 제공하는 REST 서비스를 개발하려고한다. 이 경우 복잡도를 계산하는 함수는 문제가 아니며 아직 분석되지 않은 각 파일을 가져 와서 분석하는 작업자 집합을 얻을 수 있기를 원합니다. 본질적으로 나는이 프로그램이 노동자들의 추가로 파일의 폴더에서이 작업을 수행하는 시간이 줄어든다는 것을 설명하기를 바란다. –