태그가있는 코퍼스 데이터가없는 숨겨진 마르코프 모델

Question

언어학 과정에서 숨김 변수가 품사 인 숨겨진 마코프 모델을 사용하여 부분 음성 (POS) 태그를 구현했습니다. 우리는 태그가있는 일부 데이터에 대해 시스템을 교육 한 다음이를 테스트하고 결과를 금 데이터와 비교했습니다.

태그가 지정된 교육 세트없이 HMM을 학습 할 수 있었습니까?

Answer 1

이론적으로 그렇게 할 수 있습니다. 이 경우 Baum-Welch-Algorithm을 사용합니다. 그것은 Rabiner's HMM Tutorial에 잘 설명되어 있습니다.

그러나 품사에 HMM을 적용한 경우 표준 형식으로받는 오류는 그렇게 만족스럽지 않습니다. 이는 지역 최대치에만 수렴하는 기대 최대화의 한 형태이다. 규칙 기반 접근법은 HMM 손을 아래로 내린다.

파이썬을위한 자연 언어 툴킷 NLTK는 그 정확한 목적을위한 HMM 구현을 가지고 있다고 생각합니다.

Answer 2

NLP는 몇 년 전 이었지만, HMM을 태그하지 않으면 n-gram의 심볼 방출/상태 전이 확률을 결정할 수 있다고 믿습니다 (즉, "hello"이후에 "world"가 발생할 확률은 얼마입니까). 품사가 아닙니다. POS가 어떻게 상호 연관되는지를 배우기 위해서는 태그가있는 코퍼스가 필요합니다.

내가이 문제에 관해 의견이있는 경우 알려 주시기 바랍니다.