4
드릴을 두 개의 개별 데이터베이스에 연결하고 각각에서 엄청난 양의 데이터를 가져 와서 조인을 수행하는 쿼리를 실행한다고 가정 해 봅시다.Apache Drill은 큰 결과 세트를 어떻게 처리합니까?
메모리 부족 오류가 발생하지 않고 드릴이 어떻게 처리합니까? 이는 요청한 데이터가 Drill에서 사용할 수있는 메모리 양을 초과한다고 가정합니다.
A
답변
0
드릴 문서에서 아래를 확인하십시오.
드릴
드릴 당신이 당신의 노트북에서 실행할 수있는 간단한 다운로드 할 수있는 1000 노드 클러스터에 하나의 노트북에서 확장 할 수 있습니다. 더 큰 데이터 세트를 분석 할 준비가되면 Hadoop 클러스터에 드릴을 배포하십시오 (최대 1000 대의 범용 서버). Drill은 클러스터의 집계 메모리를 활용하여 낙관적 인 파이프 라인 모델을 사용하여 쿼리를 실행하고 작업 집합이 메모리에 들어 가지 않으면 자동으로 디스크로 유출됩니다.
나는 존재하지 않는다고 생각합니다. 레벨에 도움이되는 몇 가지 속성이 있습니다. 일반적으로 드릴은 많은 양의 데이터를 처리 할 때 OutOfMemory를 매우 자주 발생시킵니다. 나는 또한 궁금해 대답을 알고 있습니다. –