GPU는 데이터 병렬 학습을위한 매개 변수 서버에서 효율적입니까?

data parallel training에서 GPU 인스턴스는 매개 변수 서버가 값을 유지하고 행렬 곱셈과 같은 계산을 실행하지 않기 때문에 반드시 매개 변수 서버에 효율적이지는 않습니다.GPU는 데이터 병렬 학습을위한 매개 변수 서버에서 효율적입니까?

trainingInput: 
    scaleTier: CUSTOM 
    masterType: standard_gpu 
    workerType: standard_gpu 
    parameterServerType: standard_cpu 
    workerCount: 3 
    parameterServerCount: 4

그 권리인가 :

그러므로, 나는 (다른 사람에 대한 매개 변수 서버의 CPU와 GPU를 사용하여) Cloud ML Engine에 대한 예제 설정 아래 좋은 비용 성과가 있다고 생각?

출처

2017-04-14 Shuhei Fujiwara

저는 전문가는 아니지만 GPU에 충분한 대역폭이 있다고 생각합니다. 따라서 매개 변수를 앞뒤로 전달하는 것은 GPU를 사용하여 효율적으로 수행 할 수 있지만 GPU 낭비를 의미합니다. 그러나, 나는 틀릴지도 모른다. GPU를 매개 변수 서버로 사용하는 [this] (http://www.pdl.cmu.edu/PDL-FTP/CloudComputing/GeePS-cui-eurosys16.pdf) 용지를 참조하십시오. –

귀하의 가정은 합당한 법칙입니다. Parag는 매개 변수 서버에서 GPU를 활용할 수있는 모델을 설명하는 문서를 가리키며 매개 변수 서버가 GPU를 활용할 수있는 것은 아닙니다.

일반적으로 짧은 시간 동안 시도하고 처리량이 향상되는지 확인할 수 있습니다.

매개 변수 서버에 실제로 어떤 ops가 할당되는지에 관해 질문이 있으면 log the device placement 수 있습니다. ops가 GPU의 혜택을받을 수있는 매개 변수 서버에있는 것처럼 보이면 (그리고 실제로 거기에 있어야한다고 가정하면) 매개 변수 서버에서 GPU를 사용해 볼 수 있습니다.

출처

2017-04-15 01:16:15 rhaertel80

GPU는 데이터 병렬 학습을위한 매개 변수 서버에서 효율적입니까?

답변

관련 문제