2010-04-03 4 views
1

요 전날 우리 네트워크에서 많은 데이터를 보관해야했고, 여러 대의 컴퓨터로 프로세스 속도를 높이려면 즉각적인 방법이 없었습니다.여러 컴퓨터에 CPU 바인딩 압축 작업을 배포 하시겠습니까?

분산 작업 관리 시스템을 만드는 것이 명령 줄 보관 도구의 도약이라는 것을 알고 있습니다.

이제이 유형의 분산 된 성능 시나리오에 대한 가장 단순한 솔루션이 무엇인지 궁금합니다. 커스텀 툴은 항상 요구 사항일까요, 아니면 표준 유틸리티를 사용하고 더 높은 레벨에서 투명하게로드를 분산시키는 방법이 있습니까?

의견을 보내 주셔서 감사합니다.

답변

1

이 문제를 해결하는 한 가지 방법은 분산 된 make 시스템을 사용하여 네트워크 하드웨어에서 스크립트를 실행하는 것입니다. 이것은 GNU Make (의 일부 구현)의 실험적 기능입니다. Solaris는 같은 목적으로 dmake 유틸리티를 구현합니다.

Condor를 사용하여 보관 작업을 분산하는 방법이 더 많을 수도 있습니다. 하지만 Condour를 매년 2 회 보관하는 경우에는 네트워크 하드웨어에서 여분의주기를 정기적으로 청소하는 시스템이 필요합니다.

정말 파이썬 기반의 make 대체 시스템 인 SCons 빌드 시스템은 네트워크를 통해 작업을 수행하도록 설득 될 수 있습니다.

그런 다음 다시 스크립트를 사용하여 네트워크로 연결된 PC에서 작업을 시작할 수 있습니다.

따라서 재미있게 병렬 프로그래밍을하지 않아도 접근 할 수있는 몇 가지 방법이 있습니다.

+0

감사합니다. Mark, 매우 사려 깊었습니다. 당신은 나에게 탐험 할 길을 많이 제안했습니다! Condor는 특히 흥미 롭습니다. 비록 당신이이 특정 보관 요구 사항의 제한된 일정에 맞았지만 혼자만의 가치가 없을 수도 있습니다. 아마도 그것을 적용 할 다른 방법이있을 것입니다. 다시 한번 감사드립니다. – barnaby