대용량 로그 테이블을 저장하는 데이터베이스

Question

Google은 약 500.000 건의 요청을 하루에 처리하는 API 서버를 운영합니다. 우리는 데이터를 분석 할 수 있도록 이러한 모든 규칙을 데이터베이스에 보관하려고합니다. 우리는 같은 것들을 로그 :

얼마나 시간이

날짜와 시간을 가져 갔어 요청을했다

• HTTP 응답 코드
• (URL)
에 대한 질문을 받았다 무엇 API 자원
• 캐시 된 응답 (bool)
• +++

우리는 3 개월 동안이 로그를 유지하려고하는데, 그 결과 데이터베이스에 약 45,000,000 개의 레코드가 생깁니다. 레코드가 3 개월 이상 경과하면 레코드가 삭제됩니다.

이러한 4 천 5 백만 레코드를 SQL 데이터베이스에 저장하는 것도 가능하지만 이러한 데이터를 분석하는 것은 실제로 느립니다. 지난 주 같은 날에 비해 특정 사용자가 오늘 얼마나 많은 요청을했는지와 같은 광범위한 분석을하고 싶습니다. 다른 요일에 비해 오늘 실패한 요청 수는 몇 %입니까? 요청 횟수가 올라가거나 내려가는 추세 다이어그램을보십시오. 주어진 시간에 요청되는 상위 10 개 리소스를 확인하십시오. 당신은 그것을 얻습니다. 우리는 이와 같은 모든 종류의 분석을 할 수 있기를 원합니다.

이와 같은 분석을 실시간으로 (또는 거의 실시간으로) 수행 할 수 있도록 이러한 로그를 저장할 위치에 대해 조언을 해줄 수 있습니까? 이것에 좋은 수있는 모든 nosql 데이터베이스? 하늘빛? 하늘색 SQL 데이터웨어 하우스라고하는 뭔가가 있는데,이 용도로 사용할 수 있습니까? 필자는 Microsoft Power Bi를 살펴 보았습니다. Microsoft Power Bi는 이러한 데이터를 분석하는 데 유용 할 수 있지만 데이터를 저장하는 위치는 어디입니까?

누군가 나에게 제안을 해주시면 정말 감사하겠습니다.

Answer 1

Power BI는 잠재적으로 유용한 솔루션입니다. SQL Server Analysis Services 인스턴스는 실제로 "OLAP 데이터웨어 하우스"인 메모리에 저장됩니다. 무료 PBI Desktop 도구로 디자인하고 PBI 웹 사용자를 위해 Microsoft의 클라우드에 게시하면 인프라 요구 사항이 최소화됩니다.

게시 할 수있는 데이터에는 제한이 있습니다 (아래 링크 참조). PBI는 매우 효과적인 Vertipac 압축을 사용하므로 데이터 세트는 일반적으로 원시 데이터보다 훨씬 작습니다.종종 MB 당 10k - 50k 행을 볼 수 있으므로 45m는 단일 Pro 라이센스로 달성 할 수 있어야합니다. PBI Desktop의 열 목록을 무분별하게 필터링하여 최적화하십시오. 당신이 시간당 새로 고칠 수 있습니다 PBI 프로 라이센스

https://powerbi.microsoft.com/en-us/documentation/powerbi-admin-manage-your-data-storage-in-power-bi/

, 최대 8 회 :

https://powerbi.microsoft.com/en-us/documentation/powerbi-refresh-data/

건물 SQL 데이터베이스 및 OLAP/SSAS 솔루션을 통해 나에게 좋은 직업이었다 지난 20 년. 시간과 돈이 있다면 여전히 "롤스 로이스"솔루션입니다. 그러나 20 년이 지난 지금도 기술적으로 도전적인 분야이므로 여전히 배우고 있습니다. 아직 그 기술이 없다면 Power BI가보다 생산적인 방법이 될 것입니다.

Answer 2

SQL OLTP 데이터베이스에 로그를 저장하는 것이 좋습니다. 로그 테이블의 본질은 트랜잭션 적입니다. 지속적으로 업데이트하고 커밋 속도의 이점을 얻을 수 있습니다.

언급 한보고 속도 문제는 로그 데이터베이스 상단에 OLAP 데이터웨어 하우스를 구축하여 해결할 수 있습니다. 데이터 모델이 매우 단순 해 구현할 수있는 개발 작업이별로 없을 것 같습니다.

실시간보고를 얻는 방법은 OLTP 데이터베이스 상단에 보고서를 작성하는 것입니다. 작은 지연으로 생활 할 수있는 경우, 대부분의 장소에서 하룻밤 사이에 큐브를 재구성하여 24 시간 지연에 대한 즉각적인 보고서를 제공합니다.

개념적 응답에 대한 사과하지만 당신을위한 인프라 설계가 부족하다는 점을 생각하면 Q & 형식으로 갈 수 있다고 생각합니다.