Solr을 검색 서버로 사용하려고 계획 중이며 자체 거미를 개발하거나 Nutch를 확장 할 수 있습니다.Solr 멀티 코어, 분산 아키텍처?
저는 현재 내 목적에 부합하고 미래에 스케일 아웃 될 수 있도록 개방 된 상태로 유지되는 경제적 인 토폴로지를 설계하려고합니다.
모든 컴퓨터를 호스팅하는 데 Amazon AWS를 사용할 계획입니다. 내 질문은 아이디어와 요구 사항을 따르는 타당성을 이해하는 것입니다, 도움을 주시면 감사하겠습니다!
- 한 SOLR 노드는 (전용 쿼리를 제공하기 위해 전용 - 웹 프론트 엔드 쿼리 서버로) 수요 SOLR 노드 (1 또는 많은)에
- (인덱스 서버로 - Nutch 또는 다른 거미는이 노드에 연결하는 것
다른 검색 서버 (예 : Microsoft FAST 또는 SharePoint Search)와 같은 확실하지 않은 공통 데이터베이스가있는 분산 토폴로지를 배포 할 수 있습니다.
이러한 토폴로지를 지원할 수 있다면 Hadoop이나 다른 분산 파일 시스템을 기꺼이 사용할 수 있습니다.
그래서 주로 그것이 내가이 기술에 새로운 해요, 다음과 같은
---------------------------------------------------
Hadoop or anyother distributed file system/db system
---------------------------------------------------
||
||
||
VV
---------------- ------------------------
Solr query node Dedicated Solr index nodes
(1 powerful server) + (on demand)
with Nutch or other web spider
---------------- ------------------------
|| ||
VV VV
Web Front End Internet
를 시각화하는 것, 다른 포럼 및 프리랜서 웹 사이트에 제안 된 멀티 코어 구현에 커뮤니티 회원을 많이하지만 내 이해는 멀티 코어가 구별 지원하는 것입니다 datanodes (클러스터링 또는 분산 아키텍처와 아무 관계 없음)! 나 맞아?
타당성에 대해 조언하십시오!
미리 감사드립니다.
닐 레이.
감사합니다. 모든 solr 인스턴스간에 쿼럼 종류의 스토리지를 시뮬레이트해야 할 필요가 있으며 크롤링 된 데이터를 처리하고 쿼럼 저장 인덱스를 업데이트하는 태양 수요 인스턴스를 가져올 수 있습니다. 클러스터를 넘어서 더 많은 정보를 얻을 수 있지만 탄력성을 지니고 있으므로 내 요구 사항까지 확장 할 수 있습니다. –