단어 예측 : neural net 대 n-gram 접근

Question

예를 들어 문장에서 다음 단어를 예측하려고하면 bi gram 접근법을 사용하고 코퍼스의 이전 단어를 기반으로 발생하는 단어의 확률을 계산할 수 있습니다.

대신에 신경망을 사용하여 다음 단어를 예측합니다. 훈련 데이터는 단어 쌍으로 구성되며, 각 쌍에는 현재 단어와 다음 단어가 들어 있습니다. 그물을 훈련하는 것은 단어의 벡터화 된 표현으로 입력 값을 사용하고, 출력 값은 코퍼스에서 다음 단어의 벡터화 된 표현입니다.

나는 신경망이 더 잘 수행 될 것으로 기대하지만 왜 그런지 모르겠다.

신경망과 고전적인 접근 방법을 사용하는 것이 더 좋은 경우는 언제입니까? 이 경우에는 신경망 대 n-gram 모델입니다. 이 질문이 모호하면 사과드립니다.

아마도 답은 시행 착오이며 어떤 모델이 더 빠른 성능을 갖고 있으며 더 나은 예측을 내릴 수 있습니까?

예측을 만들기 위해 n-gram 모델을 사용하는 대신 확률 계산이 필요한 반면 예측을 벡터 승수로 만드는 것과 같이 신경망이 더 잘 수행됩니다.

Answer 1

질문에 대한 답변은 가지고있는 특정 데이터에 따라 다릅니다. 여러분이 말했듯이, n-gram 모델은 각각의 가능한 bi-gram을 관찰 할 확률을 세는 것을 기반으로합니다. 이것은 특히 훈련 할 텍스트가 많지 않을 때 데이터를 사용하는 매우 효율적인 방법입니다. N-gram 모델은 작은 데이터 세트에서 신경망 모델을 쉽게 이길 수 있습니다.

신경망에는 n-gram 모델에는없는 몇 가지 장점이 있습니다. 재발 성 신경망을 사용한다고 가정하면 더 긴 단어 기록을 활용할 수 있습니다. 또한 유사한 n 그램에서 매개 변수를 공유 할 수 있습니다.