알 수없는 단어로 언어 모델 평가가 어떻게 작동합니까?

Question

따라서 언어 모델을 구축 할 때 어휘 크기를 넘어 순위가 낮은 단어는 'UNK'로 대체됩니다.

제 질문은 'UNK'를 기반으로 확률을 평가하는 언어 모델을 평가하는 방법입니다. 우리가 테스트 세트에서 그러한 언어 모델의 난이도를 평가하기를 원한다면, 모델에 알려지지 않은 단어에 대해, 우리가 얻게 될 확률은 알려지지 않은 단어의 '가방'을 기반으로 평가됩니다. 우리가 1로 어휘의 크기를 설정하는 경우 때문에

이것은 즉, 모든 단어를 알 수 있으며, 문제가있는 것 같다,이 수 - 아무것도 실시하지 않는 언어 모델의 혼란 1.

Answer 1

될 것입니다이 파일은 문제를 설명 아주 잘 :

https://web.stanford.edu/~jurafsky/slp3/4.pdf

짧은, 혼란은 같은 어휘와 언어 모델을 비교해야한다.