2014-07-11 2 views
4

그래프 (로그 정보를 기반으로)를 작성하고 타이탄 데이터베이스에로드하려는 플랫 파일 형태의 로그 데이터 세트가 있습니다. 이 데이터의 크기는 몇 기가 바이트입니다. Faunus 및 BatchGraph (벌써 https://github.com/thinkaurelius/titan/wiki/Bulk-Loading에서 읽음) 대량로드 옵션을 살펴보고 있습니다. 탭으로 구분 된 로그 데이터는 그래프 노드와 가장자리를 형성하기 위해 파일의 각 행에 약간의 처리가 필요합니다. Faunus/BatchGraph가이 유스 케이스에 해당합니까? 그렇다면이 도구가 작동하려면 입력 파일이 어떤 형식이어야합니까? 그렇지 않다면 BluePrints API를 사용하고 있습니까? 초보자이므로 제안에 공유 할 수있는 모든 자료는 대단히 감사하겠습니다. 감사!타이탄 데이터베이스에 데이터로드

답변

6

간단한 방식으로 질문에 대답하려면 Faunus을 사용하여 데이터를로드하려고합니다. 가능한 경우 먼저 외부 도구로 데이터를 정리하고 변환하는 것이 좋습니다. 탭으로 구분 된 형식은 괜찮지 만 이러한 파일을 준비하는 방법은 로딩 성능에 영향을 미칠 수 있습니다 (예 : 데이터를 올바르게 정렬하면 가끔씩 큰 속도 향상이 가능함)

보다 완전한 대답은이 두 가지에 있습니다. 자원. - 당신이 진정 초보자 있다면, 난 당신이 100K 사이 어딘가에 생산 데이터의 일부 조각을 발견하는 것이 좋습니다

http://thinkaurelius.com/2014/05/29/powers-of-ten-part-i/ http://thinkaurelius.com/2014/06/02/powers-of-ten-part-ii/

내가이 추가 조언을 제공 할 것입니다 : 그들은 당신이 접근 방식을 결정하는 데 도움합니다 1M 가장자리. 해당 블로그 게시물의 1 부에서 설명한대로 단순히 BatchGraph으로로드하거나 Blueprints API로로드하는 데 집중하십시오. 이 작은 경우에 데이터를 쿼리하여 Gremlin에 익숙해집니다. 이 시간을 사용하여로드 한 것을 검증하는 메소드를 개발하십시오. 일단 당신이 그것의 모두에 안락하게 느끼면, 그 후에 전체 크기까지 그것을 오르기에 종사하십시오.

+0

대단히 감사합니다. 이것은 매우 도움이되었습니다. 내가 타이탄에서 개발을 할 자바 환경 (예 : 일식) 설정에 대한 리소스가 있는지 알고 싶습니다. 이것이 주제가 아닌 경우 별도의 스레드에서이 질문을 할 수 있습니다. – DaTaBomB

+0

아무도 모른다. 그냥 maven을 사용해야합니다. –