태그가 지정된 집합 중 하나가 구문 분석되지 않는 이유는 무엇입니까?

Question

그래서 아주 간단한 파서를 사용하여 WSJ 코퍼스의 일부 문장을 청크로 처리해야합니다. 내가 pos 태그를 문장 자신을 그것은 작동하지만 ... 태그 지정된 문장을 얻으려면 주어진 방법을 사용하지 마십시오.

제 과제는 WSJ corpus nltk.corpus.treebank.tagged_sents()라는 콘텐츠의 문장 200-220을 사용하도록 권유했습니다. 그러나 파서가 내게 오류를주고있다. 작동하지 않는 자신의 코드를 사용하여

tbss = concat(treebank.sents()[200:220]) 
tag1 = nltk.pos_tag(tbss) 
print(cp.parse(tag1)) 

: (수동 작동 문장 태그) 작동

내 코드

tag2 = nltk.corpus.treebank.tagged_sents()[200:220] 
print(cp.parse(tag2)) 
>>> ValueError: chunk structures must contain tagged tokens or trees 

이유는 정확히주는 두 번째입니다 오류? 나는 태그 1과 태그 2의 인쇄본을 모두 만들었고 거의 동일하게 보입니다 ... 왜 파싱이 아닌 다른 파싱이 ... 나는 잘못된 것을하고 있습니까?

Answer 1

cp.parse()에 태그가 지정된 토큰 목록이 아닌 문장 목록을 전달하기 때문에 오류가 발생합니다. concat의 출처는 표시하지 않지만 명확하게 (@lenz 주석으로) 문장을 하나의 단어 목록으로 연결합니다. 두 번째 경우에도 동일한 작업을 수행하려면 cp.parse(concat(tag2))이 필요합니다.

그러나 매우 비정상적인 문법이 없으면이 오류가 발생합니다. 구문 분석기는 한 번에 한 문장 씩 작업하므로 문장을 서로 구분하지 말고 서로 연결하지 않아야합니다. 문장 목록을 반복하고 각 문장을 구문 분석하거나 문장을 모두 한 번에 구문 분석 한 후 cp.parse_sents(tag2)을 입력하십시오. 자기 태그가 붙은 treebank 문장에도 적용됩니다.이 문장은 다음과 같이 태그를 지정하고 구문 분석해야합니다.

tbss = treebank.sents()[200:220] 
tag1 = nltk.pos_tag_sents(tbss) 
parsed1 = cp.parse_sents(tag1) 
for sent in parsed1: 
    print(sent)