perplexity

0열

1답변

알 수없는 단어로 언어 모델 평가가 어떻게 작동합니까?

따라서 언어 모델을 구축 할 때 어휘 크기를 넘어 순위가 낮은 단어는 'UNK'로 대체됩니다. 제 질문은 'UNK'를 기반으로 확률을 평가하는 언어 모델을 평가하는 방법입니다. 우리가 테스트 세트에서 그러한 언어 모델의 난이도를 평가하기를 원한다면, 모델에 알려지지 않은 단어에 대해, 우리가 얻게 될 확률은 알려지지 않은 단어의 '가방'을 기반으로 평가됩니

language-model perplexity 2017-10-12

---