Azure의 Google 웹 로그 분석 데이터

Question

누구도 Google 웹 로그 분석 데이터를 Azure로 옮겼습니까? 나는 그것을 할 수있는 몇 가지 방법을 보았지만 나는 내가 무엇을 얻고 있는지 확신하지 못한다. Google 웹 로그 분석 데이터가 상당히 커지고 Google 스토리지에 저장하고 Azure에서 액세스하거나 HDInsight 또는 Data Lake와 같이 이동하는 것이 가장 적합한 지 궁금합니다. SQL Azure, BLOB 및 테이블 저장소와 같은 여러 데이터 저장소에 데이터를 조인해야합니다. 또한 데이터 액세스를 통합하기위한 가능한 해결책으로 Apache Drill과 Presto를 조사하고있었습니다. 아무도저기서이 똑같은 문제를 다루었는지보고 싶다면 공유 할 경험이 있어야합니다. 감사!

Answer 1

서문

그래서 나는 단지 드릴로이 일의 가능성에 댓글을 달 수 프레스토 경험이 없습니다. 또한 Azure 서비스를 사용하지 않아서 조언이 이론적입니다. 저장 플러그인

드릴 당신이 다른 소스에서 발생하는 데이터를 원하는 SQL 쿼리를 수행 할 수

드릴, 각 데이터 소스가 저장 플러그인을 가지고 제공. 스토리지 플러그인은 데이터 소스와의 인터페이스를 허용하는 Drill의 코드 조각 일뿐입니다. 세 가지 데이터 소스에 대해 쿼리를 수행하는 데 관심이 있으므로이 세 가지 데이터 소스 각각에 Storage 플러그인이 있는지 확인해야합니다. SQL 애저

나는 SQL 애저는 자바에 대한 JDBC 드라이버가 가정합니다. 그렇다면 these instructions에 따라 SQL Azure를 사용하도록 드릴을 구성 할 수 있습니다.

푸른 물방울

푸른 BLOB 저장소 드릴은 파일 시스템에서 데이터를 읽는 데 사용 하둡 파일 시스템 API를 구현하고있다. 그러므로 이론적으로는 hadoop-azure 항아리와 그 종속성 https://mvnrepository.com/artifact/org.apache.hadoop/hadoop-azure/2.7.0을 드릴의 클래스 경로에 추가하고 드릴의 DFS 저장 장치 플러그인을 사용하도록 구성 할 수 있습니다.

또한 Azure Blob의 데이터는 json, parquet, csv 또는 hadoop 시퀀스 파일과 같은 지원되는 파일 형식으로 저장해야합니다.

푸른 색 표

이것은 Microsoft의 사용자 지정 NoSQL 데이터베이스와 유사합니다. 현재 드릴은 지원하지 않습니다.

당신이 푸른 SQL과의 Blob 모두에서 데이터를 쿼리 드릴을 사용할 수있는 약간의 작업 결론

아니라 푸른 표.