추천 시스템을위한 대규모 동적 데이터를 처리하는 가장 효과적인 방법은 무엇입니까?

Question

대규모 데이터를 기반으로 한 추천 시스템에 대해 생각하고 있지만 더 빠른 방식으로 작동하기위한 동적 DB 구조를 유지하는 전문적인 방법을 찾고 있습니다. 우리는 몇 가지 대체 접근법을 고려합니다. 하나는 일반적인 SQL 데이터베이스를 유지하는 것이지만 일반적인 파일 구조를 사용하는 것보다 느립니다. 두 번째는 nosql 그래프 모델 DB를 사용하는 것이지만 계속해서 데이터를 매트릭스로 끌어 들이기 때문에 우리가 사용하는 알고리즘과 호환되지 않습니다. 우리가 생각하는 최종 접근법은 일반 파일을 사용하여 데이터를 유지하는 것이지만 쿼리 방법이나 편집기가 없기 때문에 변경 사항을 추적하고 관찰하는 것이 더 어렵습니다. 그러므로 다른 방법과 장단점이 있습니다. 당신의 선택은 무엇이고 왜입니까?

Answer 1

"파일"과 "파일 구조"에 대해 여러 번 언급하는 이유는 확실하지 않지만 효율적인 데이터 처리를 위해 파일에 항목을 저장하지 않으려 고합니다. 디스크에 데이터를 읽고 쓰는 데 비용이 많이 들고 효율적이고 유연한 파일 시스템에서 파일을 쿼리하기위한 무언가를 찾기가 어렵습니다.

나는 이미 권장 사항을 수행하는 제품과 함께 시작 했죠 가정 :

http://mahout.apache.org/

당신은 권장 사항을 생성하는 데이터에서 실행하는 다양한 알고리즘에서 선택할 수 있습니다.

혼자하고 싶다면 하이브리드 방식이 효과적일까요? 관계를 표현하기 위해 여전히 그래프 데이터베이스를 사용할 수 있지만, 각 노드/버텍스는 문서 데이터베이스 나 관계형 데이터베이스에 대한 포인터가 될 수 있습니다. 여기서 "전체"표현이 존재합니다.