3
필자는 map-and-reduce 모델 (길이가 짧다는 단점, 시간이 많이 걸리는 알고리즘을 통해 이전에 계산 된 몇 백 개의 순위를 모으는 것) 하에서 실행하기에 매우 비싼 작업을 가지고 있습니다.셀러리 for Map-Reduce 또는 Python의 다른 대안?
(멀티 프로세싱이 아닌) 클러스터에서 작업을 병렬 처리하고 싶고 Celery 및 Disco의 두 가지 구현에 초점을 맞추고 싶었습니다. Celery는 순진한지도 및 축소 기능을 지원하지 않으며 "지도"부분이 TaskSets을 사용하여 쉽게 수행되지만 "절약"부분을 어떻게 효율적으로 구현합니까?
(디스코와 내 문제는 윈도우에서 실행되지 않는다는 것입니다, 나는 그렇게 맵 줄이기위한 또 다른 프레임 워크를 실행, 프로그램의 다른 부분에 대한 설정 셀러리 이미 오히려 세련되지 못한 것 같다.)