SVM - 최상의 매개 변수 (예 : C, 감마)를 나타낼 수있는 데이터 속성이 있습니까?

Question

최상의 매개 변수를 결정하기 위해 교차 유효성 검사를 사용하는 것이 꽤 표준적인 것처럼 보입니다. 물론 이것은 대개 시간이 많이 소요되는 과정입니다. 단축키가 있습니까? 어떤 값이 가장 좋을지에 대한 힌트를 제공 할 수있는 다른 빠르고 빠른 탐색 분석 형식이 있습니까?

예를 들어 기계 학습과 SVM에 대한 현재의 이해에서 C의 경우 10의 지수에서 [10e-5, 10e5]의 범위에서 초기 그리드 검색을 수행 한 다음 그곳에. 그러나 가장 좋은 C가 10e3에서 10e5 사이의 어딘가에 있다고 빠르게 추측 할 수있는 방법이 있습니까? 그런 다음 더 구체적인 검색을 수행 할 수 있습니까?

이 질문은 아마도 대부분의 ML 기법에 적용되지만, 지금은 SVM으로 작업하고 있습니다.

Answer 1

예, 이것은 활발한 연구 조사 영역입니다! 우리가 모두 알고있는 (아마?) 사랑하는 표준 그리드 검색 외에도 하이퍼 파라미터 튜닝에 대한 다양한 접근법에서 많은 작업이있었습니다.

설명하는 것과 가장 유사한 영역은 문제에 대한 다양한 베이지안/가우스 프로세스 접근 방식입니다. 이 github repo에는 구현 방법과 작동 방법에 대한 정보가 담긴 그림이 있습니다. https://github.com/fmfn/BayesianOptimization. 이 접근법은 매개 변수 최적화 문제를 다른 기계 학습 문제로 취급하고 모든 하이퍼 매개 변수에 대한 기능을 갖추고 다양한 매개 변수 조합의 성능을 예측하여 작동합니다.

프로세스에 대한 높은 수준의 설명이므로 자세한 내용은 repo에서 링크 된 논문/노트를 읽을 수 있습니다.