Lamina vs Storm

Question

스트리밍 수치 데이터를 상당히 많은 양 (> 30G/day)으로 처리하기위한 프로토 타입 실시간 모니터를 설계하고 있습니다. Clojure에서이 언어를 쓰고 싶습니다. 언어가 "Observer + state machine"시스템에 적합 할 것 같아서 아마도 이것이 결국 끝날 것입니다.

프레임 워크에서 찾은 두 가지 주요 후보는 Lamina와 Storm입니다. 리만 (Riemann)과 펄스 (Pulse)도있다. 그러나 전자는 프레임 워크가 아닌 완전한 해결책으로 보인다. 나는 최종 디자인을 아직하지 않겠다. 펄스의 레포가 약간 유지되지 않는 것 같니?

내가 알고 싶은 것은; 이 두 프로젝트는 어떤 종류의 데이터 및 작업 흐름에 최적화되어 있습니까? 폭풍은 더 성숙한 것 같지만 Lamina는 더 구성 가능하고 "Clojureic"(내 배경은 파이썬이므로 매우 높게 평가하는 경향이 있습니다). 나는 온라인 독서에서 발견 한 어떤

:

• 스톰은 코어가의 Clojure DSL과 직선 자바이다, 빅 데이터 (스트림)이 집중 될 것으로 보인다. 다수의 기존 데이터 소스에 대해 pre = built 처리기가있는 것으로 보입니다.

• 얇은 판은 추상화를 코딩하는 Clojure보다 더 가볍고 재사용 가능한 구성 요소이며, 이는 reused as a base for other eventing systems이 될 수 있음을 의미합니다. 데이터 소스는 코드로 처리해야합니다.

• 두 세트 모두 유용한 집합/분할/계산 라이브러리 기능을 즉시 사용할 수 있습니다. Lamina의 graphviz 통합은 좋은 터치입니다. 그것이 내가 당신의 요구 사항을 이해 무엇에서 사용하기에 가까운 것으로 보인다 "그러나 스트리밍 하둡과 같은"일종의 될 수 있도록 설계 되었기 때문에

Answer 1

폭풍 흐름에 클러스터 관리 실패 노드의 처리를 통합 케이스.

Answer 2

Lamina는 괜찮은 선택 인 것처럼 보이지만 Storm - cluster 컴퓨팅 관리의 킬러 기능이 완전히 부족한 것처럼 보입니다. Storm 클러스터는 노드 클러스터 전반에 걸쳐 계산을 분산시키는 대부분의 더러운 작업을 처리하여 Storm 프레임 워크에 맞으면 비즈니스 논리에만 집중할 수 있습니다. 필자가 볼 수있는 것에서 Lamina는 계산을 구성하는 좋은 방법을 제공하지만 필요한 경우 스케일링에 대한 모든 세부 사항을 처리해야합니다.

Answer 3

폭풍우는 아마도 나쁜 선택은 아니지만 숫자 데이터의 "하루 30GB 이상"은 큰 데이터가 아니라 작은 데이터입니다. 모든 준 현대 컴퓨터는 얇은 층이있는 한 노드에서 많은 양의 데이터를 쉽게 처리 할 수 ​​있습니다. 어쨌든 폭풍우로 가고 싶을 수도 있습니다. 서버를 더 필요로하는 영역에 들어가면 쉽게 확장 할 수 있지만, Storm을 설치하는 데 초기 마찰이 생길 수 있다고 생각합니다 (클러스터 유지시 마찰이 계속됨) , 규모를 늘릴 필요가 없다면 낭비 될 것입니다.