8

나는 잘 작동하는 demo.sh를 가지고 있으며, parser_eval.py를보고 어느 정도까지 모든 것을 grokked했습니다. 그러나 TensorFlow Serving을 사용하여이 모델을 제공하는 방법을 알지 못합니다.구문 모델 (Parsey McParseface)을 TensorFlow Serving과 함께 내보내려면 내보낼 수 있습니까?

1) 이러한 그래프에는 내 보낸 모델이 없으며, 그래프 빌더 (예 : structured_graph_builder.py), 컨텍스트 프로토콜 버퍼 및 그래픽 빌더를 사용하여 각 호출시 그래프가 작성됩니다. 나는이 시점에서 완전히 이해하지 못하는 다른 많은 것들을 가지고있다. (추가적인 syntaxnet.ops를 등록하는 것처럼 보인다.) 그래서 ... 가능한가요?이 모델을 서빙 및 SessionBundleFactory에 필요한 "번들"형식으로 내보내려면 어떻게해야합니까? 그렇지 않다면 서빙이 C++ 컨텍스트에서만 실행되기 때문에 그래프 작성 논리/단계가 C++에서 다시 구현되어야 할 필요가있을 것입니다.

2) 실제로 demo.sh는 유닉스 파이프와 함께 사실상 두 개의 모델로 파이프되어 있으므로 어떤 Servable도 두 세션을 구축해야하고 데이터를 마샬링해야합니다. 이것이 올바른 접근 방법입니까? 또는 두 모델을 모두 "패치"한 "큰"그래프를 작성하고 대신 내보낼 수 있습니까?

답변

6

많은 학습 후, 연구 등으로 TF 서비스에서 Parsey McParseface를 제공하는 목표를 달성 한 텐센트 플로/모델 및 구문 넷에 대한 풀 요청을 마무리했습니다.

https://github.com/tensorflow/models/pull/250

여기 없어 실제 "제공"코드,하지만 위의 문제의 문제를 해결하는 작업에 비해 상대적으로 사소한 무엇입니까.

+1

그리고 모델을 제공하기 위해 간단한 (WIP) TF 검색 아티팩트를 저장할 저장소를 만들었습니다. nodejs gRPC 테스트 클라이언트가 함께 제공됩니다. https://github.com/dmansfield/parsey-mcparseface-api – dmansfield