저는 Disco를 처음 사용하고 방금 놀고 싶었습니다. 그래서 documentation에 설명 된 가장 간단한 인스턴스를 설정하려고했습니다. Erlang과 Python이 설치되었고, 나는 Git 체크 아웃을했고 make을 실행했고 bin/disco nodaemon을 통해 Disco를 시작했다. 아래에서 슬레이브 시작시 오류 메시지를 볼 수 있습니다. 이 글
이름 disco.core : http://discoproject.org/doc/disco/start/install.html 내가 스크립트를 실행하는 시점까지 성공적인왔다. 나는 오류 얻을 : 나는 위의 지침에 따라 디스코를 설치 한 no module named disco.core
을, 그러나 이것은 파이썬 라이브러리를 설치하지 않는 것 같습니다. 나는
disco를 사용하여 여러 가지 목적으로 수십 개의 맵 축소 작업을 실행하고 있습니다. 내 데이터가 엄청나게 커졌으며 표준 txt 파일 대신 DDFS를 사용하려고 시도 할 것이라고 생각했습니다. DISCO지도/축소 예제 Counting Words as a map/reduce job을 다른 사람의 도움없이 어려움없이 수행했습니다. Reading JSON sp
Docker 컨테이너에서 Python 스크립트를 실행해야합니다. (현재 "ENTRYPOINT 명령으로"disco_test.py "실행 중입니다.) Disco를 사용할 것입니다. 물론 실행해야합니다. 그 컨테이너에). 문제는 Dockerfile에서 CMD 또는 RUN을 사용하여 디스코를 실행하거나 서브 프로세스 모듈을 사용하여 Python 스크립트 자체에서
"쿠키 파일을 저장하지 않음"은 무엇을 의미합니까? 그리고 나는이 문제를 해결하려면 어떻게 : export BINDIR=/usr/lib/disco/master/ebin/;/usr/lib/erlang/erts-5.10.4/bin/beam -K true -P 10000000 -scl false -stbt s -- -root /usr/lib/erlang -pro
그래서 질문은 다음과 같습니다. 1. mapreduce 오버 헤드가 너무 커서 다음과 같은 문제가 있습니까? 누구나 (예를 들어 Disco에서) 각지도/순환주기가 매우 가벼운 작업에 소요되는 시간에 대한 아이디어가 있습니까? 2.이 문제에 대한 mapreduce의 더 나은 대안이 있습니까? 지도에서 내 프로그램은 60 개의지도 단계와 60 개의 감소 단계로
필자는 map-and-reduce 모델 (길이가 짧다는 단점, 시간이 많이 걸리는 알고리즘을 통해 이전에 계산 된 몇 백 개의 순위를 모으는 것) 하에서 실행하기에 매우 비싼 작업을 가지고 있습니다. (멀티 프로세싱이 아닌) 클러스터에서 작업을 병렬 처리하고 싶고 Celery 및 Disco의 두 가지 구현에 초점을 맞추고 싶었습니다. Celery는 순진한지
고급 자습서의 innerjoin-example을 수정하여 mapreduce (Ullman에 의해 설명 됨)를 사용하여 희소 행렬 곱셈을 만듭니다. 따라서 결과 행렬에서 동일한 위치의 값을 합산하는 두 번째 map-reduce 단계가 필요합니다. 저는 불행히도 CsvInnerJoin 클래스의 첫 번째 reduce 함수의 출력을 SumJob의 맵 함수로 가져올