빠른 유추를 위해 숙련 된 모델로 전체 파이썬 스크립트를 컴파일하는 방법이 있습니까? 파이썬 인터프리터를 로딩하는 것처럼 보이는데, Tensorflow, numpy 등은 모두 사소한 시간이 걸립니다. 요청이 자주 발생하지 않는 서버에 응답해야하는 경우 느리게 보입니다.빠른 추론을 위해 실행 가능한 모델로 컴파일 하시겠습니까?
편집
은 내가 Tensorflow 봉사를 사용할 수 있습니다 알고 있지만, 때문에 그와 관련된 비용에 싶지 않아요.
서버를 어떻게 설정합니까? django, flask 또는 tornado와 같은 python 프레임 워크를 사용하여 서버를 설정하는 경우 모델을 미리로드하고 전역 변수로 유지 한 다음이 전역 변수를 사용하여 예측해야합니다.
다른 서버를 사용하는 경우. 또한 로컬 서버로 예측하고 파이썬 서버와 웹 서버 간의 요청 또는 응답을 변환하는 데 사용하는 전체 파이썬 스크립트를 만들 수 있습니다.
텐서 흐름 모델 만 제공 하시겠습니까? 아니면 텐서 흐름 외부에서 작업하고 있습니까?
텐서 흐름 모델의 경우 TensorFlow Serving을 사용할 수 있습니다. gRPC에 익숙하다면 매우 도움이 될 것입니다.
신호를 수신하고 모델을 이미로드 한 데몬을 사용하여 요청을로드 한 다음 형식화 된 응답을 생성하는 것은 어떻습니까? –
@AlexanderHuszagh 나는 그걸 멋지다. 그걸 어떻게 설정할 수 있는지에 대한 정보가 있습니까? 여기에 파이썬 초보자 ... –
나는 이것을 Twisted를 사용하는 서버 데몬으로 정직하게 생각할 것이다. 간단하고 특별한 예가 있습니다. 이를 전문화하여 JSON 데이터를로드 한 다음 Tensorflow가 이미로드 된 코드를 사용하여 처리 한 다음 응답을 처리하여 응답 형식을 지정해야합니다 ( https://www.saltycrane.com/blog/2010/08/). twisted-web-post-example-json/ –