1
TF-IDF를 사용하여 사전 구성에 도움이되는 무게에 영향을줍니다. 그러나 구조화되지 않은 텍스트가 있기 때문에 제 모델은 실제로 충분하지 않습니다.구조화되지 않은 텍스트를 분석하려면 어떻게해야합니까?
TF-IDF 비슷한 알고리즘에 대한 제안 사항이 있습니까?
A
답변
1
당신의 모델이 충분하지 않다고 말할 때, 생성 된 사전이 충분하지 않다는 것을 의미합니까? 주요 용어를 추출하고 TF-IDF 가중치를 사용하여 사전을 구성하는 것은 실제로 기능 선택 단계입니다.
모델의 기능을 추출하거나 선택하려면 원리 구성 요소 분석, 잠재 의미 분석 등의 다른 방법을 사용할 수 있습니다. 기계 학습에서 많은 다른 기능 선택 기술도 유용 할 수 있습니다!
하지만 나는 진실로 분류 작업을 믿는다. TF-IDF는 사전을 구성하는 아주 좋은 접근 방법이어야한다. 차라리 피처 선택 접근법을 비난하지 않고 모델 매개 변수를 조정할 것을 제안합니다.
대상 작업에 적용 할 수있는 많은 심층 학습 기술이 있습니다.