일반적인 영어 단어 전략 제거

Question

html 페이지에서 관련 키워드를 추출하고 싶습니다.

나는 이미 모든 html 파일을 훑어보고, 단어로 단어를 분할하고, 줄기를 사용하고, lucene에서 정지 단어 목록에 나타나는 모든 단어를 제거했습니다.

하지만 지금은 여전히 ​​가장 일반적인 단어로 기본 동사와 대명사가 많이 있습니다.

lucene이나 snowball 또는 "I, is, go, went, am, it, were, we, you, us ..."와 같은 모든 것들을 걸러 낼 수있는 방법이나 단어 집합이 있습니까? . "

Answer 1

그것은 역 문서 빈도의 아주 간단한 응용 프로그램처럼 보입니다. 작은 웹 페이지 (예 : 10,000 웹 페이지)가있는 경우 문서에 나타나는 각 단어의 확률을 계산할 수 있습니다. 그런 다음 단어가 흥미롭거나 만족스러워지기 시작한 문지방을 선택하고 해당 문구 앞의 단어를 제외하십시오.

또는이 목록이 좋습니다. http://www.lextek.com/manuals/onix/stopwords1.html

Answer 2

R에 대한 패키지는 많은 일반적인 NLP 작업에 대해 R을 통한 인터페이스를 제공하며 Weka에 대한 인터페이스를 제공합니다. 체크 아웃 할만한 가치가 있을지도 모릅니다. 설명서는 here

입니다. 궁금한 점이 있으시면 tm 패키지의 removeStopWords() 함수를 찾고 계실 것입니다.

Answer 3

당신은 'stopwords'라는 용어를 찾고 있습니다. Lucene의 경우 이것은 내장되어 있으며 StopWordAnalyzer.java에 추가 할 수 있습니다 (http://ankitjain.info/ankit/2009/05/27/lucene-search-ignore-word-list/ 참조)