tfidf 모든 데이터 세트 또는 훈련 데이터

Question

이 책의 7 장 "TensorFlow 기계 학습 요리 책"데이터 처리에서 저자는 fit_transform scikit의 기능을 사용하여 tfidf 텍스트 훈련 기능을 익히십시오. 작성자는 열차를 분리하고 기능을 테스트하기 전에 모든 텍스트 데이터를 제공합니다. 그것은 진실한 행동입니까 아니면 먼저 데이터를 분리 한 다음 열차에서 tfidf fit_transform을 수행하고 테스트시 transform을 수행해야합니까?

Answer 1

나는이 책을 읽지 않았으며 이것이 실제로 책의 실수인지는 모르지만 나는 2 센트를 줄 것이다. 의 문서에 따르면 scikit 배우기

, fit()이

하기 위해 사용되는 훈련 세트에서 어휘와 IDF를 알아보세요. 한편

, fit_transform()가

IDF 어휘 학습하기 위해 사용되는, 용어 - 문서 행렬을 반환한다.

transform()

을 변환하는 동안 문서를 문서 용어하는 매트릭스. 교육에

는 적용 할 필요가 설정 한 테스트 설정에 fit() 및 transform() (또는 본질적으로 두 작업을 조인 단지 fit_transform()는) 그러나, 당신은 단지 transform() 테스트 인스턴스 (즉, 문서)에 필요한 양.

는 설정을 테스트하는 것은 훈련 된 모델은 새로운 보이지 않는 데이터 포인트에 잘 일반화 할 수 있는지 여부를 평가하기 위해 사용되는 반면 교육 세트 (학습 fit()을 통해 이루어진다) 학습 목적을 위해 사용되는 기억하십시오.