RBFKernel (C 및 감마)을 사용하여 SMO 최적화

Question

RBF 커널을 지원 벡터 시스템과 함께 사용하는 경우 두 매개 변수가 있습니다 (C 및 γ). 하나의 문제에 대해 C와 γ가 가장 좋은 것은 미리 알지 못한다. 따라서 어떤 종류의 모델 선택 (매개 변수 검색)이 수행되어야합니다. 목표는 우수 (C; γ)를 식별하여 클래스가 알 수없는 데이터 (즉, 테스트 데이터)를 정확하게 예측할 수 있도록하는 것입니다.

weka.classifiers.meta.GridSearch은 한 쌍의 매개 변수를 조정하기위한 메타 분류 자입니다. 그러나 (데이터 집합이 상당히 큰 경우) 완료하는 데 오래 걸리는 것처럼 보입니다. 이 작업을 수행하는 데 필요한 시간을 줄이기 위해 무엇을 제안 하시겠습니까? A User's Guide to Support Vector Machines 따르면

:

C : 소프트 마진 상수. C 값이 작을수록 경계에 가까운 점을 무시할 수 있고 여백이 증가합니다.

γ> 0

가우스

Answer 1

Hastie 외.의 SVMPath의 폭을 제어하는 ​​C 대 전체 정규화 경로를 탐구 단일 SVM 모델을 훈련 동일한 계산 비용에 대해 필요로하는 파라미터이다. 그 논문에서 :

는

우리 R 함수 SvmPath는 (N + = N- = 100 방사형 커널, γ = 1) 펜티엄 4 1.44 (0.02) 초에, 2GHz의 리눅스 혼합 예 모두 632 단계를 연산 기계; svm 함수 (R 라이브러리 e1071에서 최적화 된 코드 libsvm 사용)는 경로를 따라 10 포인트에서 솔루션을 계산하는 데 9.28 (0.06) 초가 걸립니다. 따라서 우리의 절차는 전체 경로를 계산하는 데 약 50 % 더 많은 시간이 걸리므로 일반적으로 단일 솔루션을 계산하는 데 libsvm이 소요됩니다.

그들은 CRAN here에서 다운로드 할 수있는 R 알고리즘의 GPL 구현을 출시했습니다.

SVMPath를 사용하면 주어진 γ에 대해 좋은 C 값을 신속하게 찾을 수 있습니다. 그러나 여전히 다른 γ 값에 대해 별도의 교육을 수행해야합니다. 그러나이 값은 일 것입니다.은 C : γ 값의 쌍마다 별도의 실행을 수행하는 것보다 훨씬 빠릅니다.