약어 및 구두점 표기법에 대한 정규식 패턴

Question

문단이 있으며 단어와 구두점을 구분하여 토큰 화하고 그 결과를 인쇄하려고합니다. 특별한 경우가 있습니다 (예 : Peter와 같은 약어 (미국) & 및 십진수)는 문자에 첨부해야하며 구분하지 않아야합니다.

나는 다음 코드를 실행합니다 :

import re 

text = "My weight is about 68 kg, +/- 10 grams! I live in U.S.A. at Mr. 
Peter's house! 3,500 calorie rule, which equates a weight alteration 
of 2.2 lb" 

pattern = r"""(?:[A-Z]\.)+ |\d+(?:\.\d+)?%?|\w/.+$\s-|\w+(?:[-']\w+)*| 
(?:[+/\-@&*]|/.$/)""" 

print (re.findall(pattern, text)) 

아웃풋 :

['My', 'weight', 'is', 'about', '68', 'kg', '+', '/', '-', '10', 
'grams', 'I', 'live', 'in', 'U.S.A. ', 'at', 'Mr', "Peter's", 'house', 
'3', '500', 'calorie', 'rule', 'which', 'equates', 'a', 'weight', 
'alteration', 'of', '2.2', 'lb' 
] 

이 코드 몇 가지 실수가있다, 나는 정말 그 문제를 해결하는 데 도움이 필요합니다

1. 모든 구두점을 제거합니다! 나는 그 (것)들을 지키고 그러나 낱말에서 분리하고 싶다.

2. 패턴은 contains (,)를 무시하고 제거합니다. 패턴에 \d+(?:\,\d+)?%?을 추가했지만 제대로 작동하지 않습니다. 패턴은 일부 약어 등 Mr.

이

이

가 당신의 도움이 매우 이해할 수를 무시

!

Answer 1

정규식으로이 작업을 시도하지 말고 작업을 위해 설계된 도구를 사용하지 않는 것이 좋습니다. 다음은 U.S.A. 또한 Peter's 처리해야

from nltk.tokenize import WhitespaceTokenizer, word_tokenize 

text = "My weight is about 68 kg, +/- 10 grams! I live in U.S.A. at Mr. Peter's house! 3,500 calorie rule, which equates a weight alteration of 2.2 lb" 

print WhitespaceTokenizer().tokenize(text) 
print word_tokenize(text) 

이 당신에게 다음과 같은 가능성을 줄 것이다 : 당신이 만발한 자연 언어 처리 도구와 함께 작동하지 않을 경우

['My', 'weight', 'is', 'about', '68', 'kg,', '+/-', '10', 'grams!', 'I', 'live', 'in', 'U.S.A.', 'at', 'Mr.', "Peter's", 'house!', '3,500', 'calorie', 'rule,', 'which', 'equates', 'a', 'weight', 'alteration', 'of', '2.2', 'lb'] 
['My', 'weight', 'is', 'about', '68', 'kg', ',', '+/-', '10', 'grams', '!', 'I', 'live', 'in', 'U.S.A.', 'at', 'Mr.', 'Peter', "'s", 'house', '!', '3,500', 'calorie', 'rule', ',', 'which', 'equates', 'a', 'weight', 'alteration', 'of', '2.2', 'lb'] 

Answer 2

를, 내가 제안 좀 더 간단한 패턴으로 작업하고 일부 구문 분석 정리를 계획하십시오. 을 해결하려고하면 패턴 일치 내 모든 문자가이고 까다 롭고 새로운 구문 요소가 도입되면 계속 실패 할 수 있습니다. re.findall()보다

['My', 'weight', 'is', 'about', '68', 'kg', ',', '+/-', '10', 'grams', 
'!', 'I', 'live', 'in', 'U.S.A.', 'at', 'Mr.', "Peter's", 'house', '!', 
'3,500', 'calorie', 'rule', ',', 'which', 'equates', 'a', 'weight', 
'alteration', 'of', '2.2', 'lb'] 

오히려

import re 

text = "My weight is about 68 kg, +/- 10 grams! I live in U.S.A. at Mr. Peter's house! 3,500 calorie rule, which equates a weight alteration of 2.2 lb" 

pattern = r"(\s+|(?:[A-Z']\.?)+)" 

tokens = [token for token in re.split(pattern, text, flags=re.I) if token and not token.isspace()] 

print(tokens) 

OUTPUT, 내가 토큰을 분리하는 패턴 유지와 re.split()을 사용하고 있습니다 말했다, 여기에 내가 당신을 해당 예외의 대부분이 처리 믿고 단순한 패턴 방식이다 (예 : 단어 분리). 새로운 예외가 발생하면 패턴을 복잡하게 만들지 또는 사전 또는 사후 분석으로 처리 할 수 ​​있는지 여부를 평가합니다.