웹 크롤러 용 데이터베이스와 분산 환경에서 MySQL을 사용하려면 어떻게해야합니까?

웹 크롤러, InnoDB 또는 MYiSAM에 어떤 데이터베이스 엔진을 사용해야합니까? 나는 각각 1TB 하드 드라이브를 갖춘 두 대의 PC를 가지고있다. 하나가 가득 차면 자동으로 다른 PC에 저장하고 싶지만 읽기는 올바른 PC로 가야합니다. 어떻게해야합니까?웹 크롤러 용 데이터베이스와 분산 환경에서 MySQL을 사용하려면 어떻게해야합니까?

2010-08-17 Jesvin

@ 아담 : Thks 편집 – Jesvin

에 대한이 이전 질문은 http://stackoverflow.com/questions/1381186/fulltext-search-with-innodb – Jaydee

질문의 첫 부분은 정확한 구현에 달려 있습니다. 네트워크 대역폭으로 제한된 단일 크롤러를 사용하려는 경우 MYSAM은 더 빠를 수 있습니다. 여러 크롤러를 사용하는 경우 InnoDB는 트랜잭션과 같은 이점을 제공하여 도움이 될 수 있습니다.

AFAIK MySQL은 사용자가 제안하는 하드웨어 구성을 지원하지 않습니다. 대용량 스토리지가 필요하다면 MySQL Cluster를 살펴보아야 할 것입니다.

2010-08-17 15:29:18 Jaydee

내가 그 경우, 크롤링이 시스템을 사용하여 멀티 스레드 프로그래밍을 사용하고 도움이 될 수 있습니다 좋은 MyISAM입니까? InnoDB에서 FullText Search를 어떻게 할 수 있습니까? – Jesvin

쓰기 전용 작업과 병렬로 실행되기 때문에 MyISAM이 가장 먼저 선택됩니다. 다른 도메인/URL을 크롤링한다고 가정합니다. 따라서 액세스 충돌을 처리 할 필요가 없습니다.

많은 수의 데이터, 특히 텍스트!를 MySQL로 작성하면 트랜잭션, 인덱스 등을 피할 수 있습니다. 이는 MySQL의 속도를 크게 떨어 뜨리기 때문입니다.

2010-08-19 12:31:16 Skarab

답변