2013-08-13 6 views
0

저는 클러스터 컴퓨팅에 처음 접했고 클러스터 컴퓨팅에 사용되는 다양한 소프트웨어에 대해 더 알고 싶었습니다. 특정 작업에 가장 적합합니다. 특히 내가 해결하려고하는 문제는 Manager/Workers 유형 시나리오가 포함됩니다.이 시나리오에서는 단일 Manager가 100에서 1000 가지 작업 생성을 담당합니다. 각 작업은 상대적으로 큰 편이지만 작은 프레임 단위로 실행해야합니다. 나는. 관리자는 각 작업에 "한 프레임 전진하고 나에게보고하십시오"라고 말할 것입니다. 단일 프레임의 실행은 매우 작으므로 Manager와 작업자 시스템 간의 대기 시간은 마이크로 초 단위로 매우 작아야합니다.하나의 프로세스가 클러스터에 분산되어있는 최상의 방법

감사합니다. 어떤 정보라도, 내가 설명한 시나리오에 완벽하게 맞지 않는 것들조차도, 나에게 출발점을주기 위해 고맙게 여길 것이다. 지금까지 연구 한 일부는 Hadoop, HTCondor 및 Akka입니다.

+0

다른 사람들에 대해서는 잘 모릅니다.하지만 Hadoop은 큰 데이터의 오프라인 일괄 처리와 마찬가지로 잘 맞지 않습니다. 당신이 묘사 한 것처럼 들리는 것은 아닙니다. – jbird

+0

당신 말이 맞아요. 미안하지만, 내가 이걸 물었을 때 연구 과정에서 일찍부터 있었다. 사용 후보자는 이제 JPPF, Akka, Twitter Storm, Open MPI 및 Open DDS입니다. – jekelija

답변

0

통신 지연이 중요하기 때문에 MPI을 사용해보십시오. MPI를 사용하여 간단한 Master/Worker 프로그램을 작성하는 것은 그리 어렵지 않으며, 특히 클러스터에 infiniband와 같은 고성능 네트워킹이있는 경우 최상의 성능을 제공합니다.

자바를 사용하고 있다면 좋은 Java/MPI 패키지를 결정하기 위해 조사를해야 할 것입니다. 여기에 몇 가지 제안 사항이 있습니다 : Java openmpi.

+0

사실, 우리는 C++을 사용하고 있습니다. 처음에는 C++에 대해 처음부터 많이 찾지 못했습니다. OpenMPI는 훌륭하게 보입니다. OpenDDS가 어떻게 비교되는지 아십니까? – jekelija

+0

@ jekelija OpenDDS에 대해 아무 것도 모른다 고 말할 수는 없지만 클러스터 컴퓨팅보다는 엔터프라이즈 컴퓨팅에 더 중점을 둔 것처럼 보입니다. 고려해 볼만한 가치가 있을지 모르지만, 설명에 따르면, 필요한 것보다 더 무거울 수 있습니다. –