5
처분에 대해 하나의 GPU가 있지만 여러 모델을 배포해야합니다. 후속 모델을 배치 할 수 없기 때문에 첫 번째 배포 된 모델에 전체 GPU 메모리를 할당하고 싶지 않습니다. 훈련 중에는 gpu_memory_fraction 매개 변수를 사용하여 제어 할 수 있습니다.Tensorflow serving : 각 모델에 대해 GPU 메모리 일부 사용
tensorflow_model_server --port=9000 --model_name=<name of model> --model_base_path=<path where exported models are stored &> <log file path>
나는 GPU 메모리 할당을 제어하기 위해 설정할 수있는 플래그가 있는가 - 내 모델을 배포하려면 다음 명령을 사용하고?
감사
합니까 [이 (https://stackoverflow.com/questions/34199233/how-to-prevent-tensorflow-from-allocating-
per_process_gpu_memory_fraction에서 플래그를 설정하도록 허용 서빙 총합 연산 메모리? rq = 1) 도움? – Imran@Imran 아니요, 제 질문은 tensorflow 서비스 내에서의 메모리 할당에 관한 것입니다. – dragster
열린 버그는 https://github.com/tensorflow/serving/issues/249에서 찾을 수 있습니다. Tldr; 옵션이없는 것 같고 apparantly 옵션을 수동으로 변경하고 링크 된 게시물에 설명 된대로 바이너리를 다시 컴파일해야합니다. – rajat