메모리 구성

Question

메모리 구성에 대한 질문이 있습니다. Spark, Cassandra, Hadoop, Thrift 및 Yarn으로 3 노드 클러스터를 실행 중입니다. hdfs에 파일을 저장하고 싶기 때문에 hadoop을로드했습니다. 내 쿼리를 실행할 때 메모리가 부족하다는 것을 알았습니다. 필자는 4GB 미만으로 실행되도록 카산드라를 제한하는 방법을 파악할 수있었습니다. 거기 hadoop에 대한 설정이 있습니까? 어때요? 난 단지 내 평면 파일을로드하는 데 사용하는 hadoop, 나는 1 또는 2 기가 바이트 그것을 잘 설정해야한다고 생각합니다. 내 상자에는 32GB의 RAM과 16 개의 코어가 있습니다.

Answer 1

직면 한 오류 메시지 없이는 말하기 어렵습니다. 당신이 당신의 노동자에서의 메모리 할당에 대해 확인하고자한다면 당신은 설정하여 yarn-site.xml에서이 두 구성 할 수 있습니다

<name>yarn.nodemanager.resource.memory-mb</name> 
    <value>40960</value> <!-- 40 GB --> 

<name>yarn.scheduler.maximum-allocation-mb</name> <!-Max RAM-per-container-> 
    <value>8192</value> 

이 question 여기에서 자세한 내용을 볼 수 있습니다.