TensorFlow Lite 모델을 16 비트로 양자화하는 방법

Question

다음 코드 단편은 8 비트 양자화 된 TF Lite 모델을 만들고 QUANTIZED_UINT8을 FLOAT으로 바꾸면 32 비트 모델이 생성됩니다. 16 비트 양자화 모델을 만드는 플래그가 있습니까? TF Lite 설명서를 검색했지만 가능한 플래그 목록에 대한 설명서를 찾을 수 없습니다. 누구든지이 작업을 수행하는 방법을 알고 있습니까?

~/tensorflow/bazel-bin/tensorflow/contrib/lite/toco/toco \ 
    --input_file=$(pwd)/model.pb \ 
    --input_format=TENSORFLOW_GRAPHDEF \ 
    --output_format=TFLITE \ 
    --output_file=$(pwd)/model.lite --inference_type=QUANTIZED_UINT8 \ 
    --input_type=QUANTIZED_UINT8 --input_arrays=conv2d_1_input \ 
    --default_ranges_min=0.0 --default_ranges_max=1.0 \ 
    --output_arrays=average_pooling2d_2/AvgPool --input_shapes=1024,32,32,2 

Answer 1

는 현재 TFLite 8 비트 만 양자화 타입을 지원. 여기를 참조하십시오 : https://github.com/tensorflow/tensorflow/blob/master/tensorflow/contrib/lite/toco/types.proto#L27

기존의 양자화 된 모델에서는 8 비트가 충분하다고 판단 되었기 때문에 이것은 변경 될 수 있습니다. 양자화에 더 많은 비트가 필요한 모델을 사용하는 경우 유스 케이스를 설명하는 텐서 흐름 문제를 만드는 것이 좋습니다.