로지스틱 회귀에서 비용 함수의 지역 및 전역 최소치

Question

로지스틱 회귀 공식의 유도에서 최소치의 개념에 대한 오해가 있습니다.

가능한 한 가설을 늘리는 것이고, 가능한 한 예측 정확도를 1에 가깝게하고, 비용 함수 $ J (\ θ) $를 가능한 한 최소화하는 것이 좋습니다.

이제는이 모든 것이 작동하려면 비용 함수가 볼록해야한다고 들었습니다. 볼록성에 대한 나의 이해는 거기에 최대 값이 필요하지 않기 때문에 최소한 하나의 최소값, 전역 최소값 만있을 수 있습니다. 이게 사실인가요? 그렇지 않은 경우 이유를 설명하십시오. 또한 그것이 사실이 아니라면, 그것은 비용 함수에서 다중 최소값의 가능성을 암시하며, 더 높은 및 더 높은 확률을 산출하는 여러 매개 변수 세트를 암시합니다. 이것이 가능한가? 또는 반환 된 매개 변수가 전역 최소값을 참조하므로 가장 높은 확률/예측을 확인할 수 있습니까?

Answer 1

볼록한 비용 함수를 사용한다는 사실은 볼록한 문제를 보장하지 않습니다.

볼록 비용 함수와 볼록 방법은 구분됩니다.

발생하는 일반적인 비용 함수 (교차 엔트로피, 절대 손실, 최소 제곱)는 볼록하도록 설계되었습니다.

그러나 문제의 convexity는 사용하는 ML 알고리즘의 유형에 따라 다릅니다.

선형 알고리즘 (선형 회귀, 로지스틱 회귀 등)은 볼록 솔루션을 제공합니다. 즉, 수렴합니다. 그러나 숨겨진 레이어가있는 신경망을 사용하면 더 이상 볼록 솔루션이 보장되지 않습니다.

따라서 convexity는 비용 함수뿐만 아니라 메소드를 나타내는 척도입니다!

LR은 선형 분류 방법이므로 사용하면 볼록 최적화 문제가 발생합니다. 그러나 데이터를 선형으로 분리 할 수없는 경우 솔루션을 제공하지 않을 수도 있으며이 경우에는 좋은 솔루션을 제공하지 않습니다.