명명 된 엔티티 인식 대문자 문제

Question

나는 최근에 내가 xx_ent_wiki_sm에을 en_core_web_md 에서 적응에 NER에 사용하는 모델을 투입합니다.

새로운 모델은 NEW JERSEY (뉴욕) 또는 NEW YORK (뉴욕)과 같은 대문자 단어를 항상 조직으로 인식합니다. 나는 그것이 시간이 많이 걸릴지라도, 모델을 재교육하기 위해 훈련 데이터를 제공 할 수있을 것이다. 그러나 모델이 대문자 단어가 조직이라는 가정을 잃어 버리거나 대신 가정을 유지하고 그것에 대한 예외를 만들 것인지 여부는 확실하지 않습니다. 어쩌면 5 문자 미만의 단어를 가진 모든 대문자는 조직 일 가능성이 높고 글자가 많은 모든 것은 그렇지 않다는 것을 알 수 있습니까? 나는 정확히 정확하게 훈련이 모델에 어떤 영향을 미치는지 알지 못한다.

en_core_web_md는 NEW JERSEY와 같은 단어를 무시하면서 두문자어로 잘 처리된다. 그러나 xx_ent_wiki_sm의 전반적인 성능은 내 유스 케이스에 더 좋습니다

전제는 매우 유용합니다. IBM이 조직과 같은 두문자어를 식별 할 수 있기 때문입니다.

Answer 1

xx_ent_wiki_sm 모델은 Wikipedia에서 교육을 받았으므로 Wikipedia에서 고려하고있는 항목과 데이터에서 공통적 인 점에 대해 매우 편파적입니다. (첫 번째 사람의 문장은 Wikipedia에서 매우 드물기 때문에 "I"를 엔터티로 자주 인식하는 경향이 있습니다.) 따라서 더 많은 예제를 사용한 사후 교육은 확실히 좋은 전략이며 가능한 일은 실현 가능합니다 .

모델이 대문자 엔티티에 대해 "잊어 버리지"않게하는 가장 좋은 방법은 모델이 이전에 교육 데이터에서 올바르게 인식 한 엔티티의 예를 포함하는 것입니다 ("catastrophic forgetting problem" 참조). 좋은 점은 대문자 엔티티를 텍스트의 무리에 걸쳐 적응 실행 추출 프로그램들을 만들 수 있다는 것입니다 :

uppercase_ents = [ent for ent in doc.ents if all(t.is_upper for t in ent)] 

가 적응하여 훈련 데이터를 생성하는 방법에 관한 추가 예제 this section를 참조하십시오. 또한 spaCy를 사용하여 선택한 엔티티의 소문자 및 제목 케이스 변형을 생성하여 교육 데이터를 부트 스트랩하여 많은 시간과 노력을 절약 할 수 있습니다.