큰 이미지 처리/웹 응용 프로그램 제공을위한 참조 아키텍처는 무엇입니까?

Question

이미지 및 pdf 파일을 가져와 각각에 대해 처리해야하는 첫 번째 버전의 서비스가 있으며 우리가 구축 한 웹 및 모바일 클라이언트에 맞게 여러 가지 변형 된 서비스를 제공합니다. 공정 측면에서

우리 수행

• 9 이미지 사이즈 변형 웹 및 300dpi의 화상
• 5 화상 처리 및 기계 학습/태깅 모바일
• 기와 (A 라지도 타일링)에 대해 프로세스

전체 파이프 라인 테스트를 연속적으로 실행하면 약 120 개의 이미지를 처리하는 데 약 18 분이 걸렸습니다.

우리는 그 시간을 극적으로 줄이려고합니다. 한 가지 물론 여러 가지 처리를 병렬로 수행하는 것입니다. 몇 가지 종속성이 있습니다. 예를 들어 몇 가지 키 변형이 생성 될 때까지 이미지 처리/기계 학습 단계를 처리 할 수 ​​없습니다.

아키텍처 측면에서 우리는 웹 계층에서 모든 처리를 오프로드하려고하지만 이미지를 웹/모바일 클라이언트까지 제공해야합니다. 우리는 병렬화를위한 openmpi, hadoop, zeromq, 스토리지/스케일 문제를 해결하기위한 hdfs, gluster, luster와 같은 것들을 조사했습니다.

우리는 점차적으로 설정을 향상시킬 수 있도록 함께 참조 할 수있는 참조 아키텍처 또는 툴링을 찾습니다.

Answer 1

그래서 이미지 및 PDF 처리 도구로 120 개의 이미지를 사용하고 있었습니까? 이미지 및 PDF 처리 도구가 빠르면 병목 현상이 발견되지 않는 한 [저장소], [hadoop] 및 [오픈mpi]에 대해 원하는 모든 것을 생각하고 계획 할 수 있습니다.