2016-06-09 4 views
0

3 개의 노드가 모두 Spark를 실행하는 Analytical 노드 인 3 개의 m3.large 인스턴스를 사용하여 AWS에 Datastax Enterprise 클러스터를 만들었습니다.Datastax 기업 코어 수 사용 가능

3m3. 큰 아마존 인스턴스에는 각각 2 개의 코어가 있으므로 총 6 개의 코어가 있습니다.

Spark Master 웹에서는 각각의 작업자 노드의 웹 UI에서 총 3 개의 코어 만 사용할 수 있습니다. 사용 가능한 코어는 1 개뿐입니다.

다른 코어 3 개는 어떻게 되었습니까? DSE는 Cassandra 또는 일부 다른 작업에 대해 시스템 당 1 코어를 예약합니까?

는 DSE에서 스파크 할 수 코어의 수는 (0.7 * total_number_of_cores) 디폴트로 당신에게

답변

0

감사드립니다. 귀하의 경우, 이것은 단일 코어로 반올림되는 1.4로 이어질 것입니다. 당신은

/etc/dse/dse.yaml 

or 

install_location/resources/dse/conf/dse.yaml 

을 편집하고 문서 아래 또한 스파크 설정을 수정하는 방법에 대한 더 많은 내용이수록되어

initial_spark_worker_resources: .7 

를 조정하여 비율을 수정할 수 있습니다. 그러나 모든 머신 코어가 Spark에 할당되면 시스템이 컨텍스트 스위칭을 끝내고 성능이 저하된다는 점에 유의해야합니다.

https://docs.datastax.com/en/datastax_enterprise/4.5/datastax_enterprise/spark/sparkConf.html#sparkConf__sparkCfgMem