그리드 및 HPC 공간에서 많은 작업을 수행하며 수백 개 (또는 경우에 따라 수천 개)의 서버에 분산 된 시스템에서 가장 큰 문제 중 하나가 로그 파일을 분석하고 있습니다. 현재 로그 파일은 각 블레이드의 디스크에 로컬로 기록되지만 예를 들어 UDP 애 퍼런더를 사용하여 로깅 정보를 게시하고 중앙에서 수집하는 것도 고려할 수 있습니다. 가능한 한 실시간으로
Hadoop Streaming 작업의 출력 파일 이름을 제어하는 방법이 있습니까? 특히 필자는 필자의 작업 출력 파일의 내용과 이름을 감속기가 출력하는 케킷으로 정리하고 싶습니다. 각 파일은 하나의 키에 대한 값만 포함하고 그 이름은 키가됩니다. 업데이트 : 방금 찾은 답변 - 작업 출력 형식으로 MultipleOutputFormat에서 파생 된 J
나는 많은 예비 리눅스 서버를 가지고 있으며 웹 호스팅과 파일 공유 환경에서 분산 파일 시스템으로 사용하고자한다. 이것은 HPC 응용 프로그램 용이 아니므로 높은 성능이 중요하지 않습니다. 주요 요구 사항은 고 가용성입니다. 한 서버가 오프라인 상태가되면 하드 드라이브에 저장된 데이터는 다른 노드에서 계속 사용할 수 있습니다. TCP/IP를 통해 실행하고
이 포럼에 대한 큰 의구심이 있지만 기꺼이 놀랄 것입니다.) 나를 다시 궤도에 오르게하는 사람들에게 명성과 위대한 업적. I 메모리의 예에서 http://today.java.net/pub/a/today/2005/04/21/farm.html 상기 제공되는 ComputeFarm 예를 구현하는 자바 스페이스 (http://www.dancres.org/blitz/
MPI를 사용하여 분산 응용 프로그램을 빌드해야합니다. 내가 취해야 할 결정 중 하나는 분산 환경에서 최대한의 이점을 얻기 위해 클래스의 인스턴스를 프로세스로 매핑 한 다음 기계로 매핑하는 방법입니다. 내 질문에 : 더 나은 매핑을 선택할 수있는 모델이 있습니까? 내 말은, 어떤 배열은 분명히 틀린 것입니다 (예를 들어 두 개의 다른 머신에 두 개의 객체를