"기계 학습 알고리즘이 확률 분포를 배웁니다"라는 문구는 무엇을 의미합니까?

Question

생성 및 차별 모델은 조건부 P (x | y) 및 관절 P (x, y) 확률 분포를 학습하는 것으로 보입니다. 그러나 근본적인 수준에서 나는 확률 분포가 의미하는 바를 스스로 깨닫지 못한다.

Answer 1

이것은 모델이 훈련 견본이 그려지는 배포판의 견적서로 작동하거나 해당 견적서를 사용하여 다른 예측을 수행하고 있음을 의미합니다.

간단한 예를 들면, 일련의 관측을 고려하십시오. {x[1], ..., x[N]}. 가우스 추정기를 훈련시키고 싶다고합시다. 이러한 샘플에서이 가우스 추정의 최대 우도 매개 변수는 이제 (추정치에서 새로운 샘플을 생성 할 수있는 모델이 데이터

Variance = 1/(N-1) * ((x[1] - Mean)^2 + ... + (x[N] - Mean)^2)

Mean = 1/N * (x[1] + ... + x[N])

의 평균과 분산을 것 of) 훈련 샘플을 가져온 분포.

조금 더 정교 해지면 가우스 혼합 모델과 같은 것을 고려해 볼 수 있습니다. 이것은 유사하게 당신의 데이터에 주어진 모델의 가장 적합한 매개 변수를 추론합니다. 이 시간을 제외하고, 그 모델은 여러 가우스로 구성됩니다. 따라서 일부 테스트 데이터가 제공되면 관찰 지점의 확률 밀도에 대한 각 가우스 구성 요소의 상대적인 기여도를 기반으로 각 샘플에 클래스를 확률 적으로 할당 할 수 있습니다. 이것은 물론 기계 학습의 근본적인 가정을 만듭니다. 귀하의 교육 및 테스트 데이터는 모두 동일한 분포 (확인해야 할 사항)에서 추출됩니다.