SpatialHadoop : 다중 컴퓨팅 노드로 스케일링하지 않음

Question

SpatialHadoop을 사용하여 8,700 만 포인트의 데이터 세트를 저장하고 색인을 생성합니다. 그런 다음 다양한 범위 쿼리를 적용합니다.

3 개의 다른 클러스터 구성 (1, 2 및 4 노드)에서 테스트되었습니다. 불행히도 노드 수가 증가함에 따라 런타임이 줄어들지 않습니다.

수평 왜곡 효과가없는 이유는 무엇입니까?

Answer 1

파일의 크기는 메가 바이트입니다. 8700 만 포인트가 있지만 Hadoop이 1 ~ 2 개의 스플릿 만 만들 정도로 작을 수 있습니다.

이 경우 파일을 여러 블록으로 분할 할 수 있도록 HDFS 구성의 블록 크기를 줄여보십시오.

또 다른 가능성은 동일한 시스템에서 가상 노드를 실행하고 있다는 것입니다. 즉, 실제 분산 환경을 얻지 못할 수도 있습니다.