로지스틱 Lost function

합격이나 불합격이나 구분- 이진분류

이진 분류

통 or 분류

스팸 or not 스팸

둘중하나를 선택하기 위한것 -> 실제값 0과 1중하나

 

 

 

로지스틱 회귀
이진분류를 할때 사용하는 회귀 방법으로 
확률값을 통해 분류하는 방법이다.
어떻게 -> 크로스엔트로피를 활용하여 실제값과 예측값의차이(loss)를 줄여서 정답에 가깝게 하는방법

 

 

로지스틱 회귀

이진분류를 해야하는 상황에서 정답에 가까운 확률로 예측값을 구하는방법

크로스엔트로피 방법

시그모이드로 확률로 예측값을 표현하고, 그예측값을 크로스 엔트로피로 loss값을 구한다.
크로스엔트로피 사용이유
시그모이드 함수에서 확률로 나오기 때문에 log함수를 이용해서 loss값을 표현해준다.

 

 

 

 

 

 

 

 아래그림) 크로스엔트로피

크로스엔트로피는 cost function을 만들기 위한 방법

 

로지스틱회귀는 크로스엔트로피를 이용해서, 

선형회귀는 MSE를 이용해서 cost function을 만들었다.

 

 

 

cross entropy

 

 

 

 

 

 

0부터 무한대까지가 y

 

시그모이드 함수

H(x) 는 예측함수 = 0~1의 확률

 

x = e^(-(wx+b)

 

 

 

 

 

y = 1일때 cost 함수 구하는중     H(x)는 예측함수

 

이진분류가 1로 갔을때 loss가 0이된다.

 

 

예측함수(hx)가 1이 될때 loss가 0된다.

예측함수 1/ 1+e^(-wx+b)

예측함수랑 loss값 그래프

 

 

예측함수(hx)가 0이 될때 loss가 1된다.

 

H(x)가 0일때 
-log(1-0)= 0
y = 0이고,

H(x)가 1일때
-log(1-1)=무한대
y = 무한대

y= 데이터 값

 

 

 

 

시그모이드 함수에서 sig(x)를 로그함수로 나타내서
cost= jw()= loss값을 구한다.

y ^(i)는 실제값

 

 

y = 0일때는 1-h(X)가 들어감

 

h(x) = cost함수 = 예측함수

 

mse( hx, y)

1-h(x)  <=  y= 0

-log(1-hx)

 

예측 =! 정답 => cost 올라감

예측 = 정답 = cost 내려감

 

-log(1-hx)

h(x) -> log(1)  -> 0

h(x) -> log(0) --> 무한대

 

 

 

 

 

 

 

선형회귀

선형 +회귀

선형인 회귀

주어진 데이터를 사용해서

알수없는 데이터를 예측하는

선을 찾는 회귀방법 

평수에 따른 가격

 

방법

mse는 방법 - 

 

경사하강법

파라미터 를 조정해서 실제값과 유사하게 만들어서 loss를 줄이는것

예측 - loss - 학습

 

경사하강법

θ파라미터를 조정하는과정 loss값이 적은 방향으로

θ n+1 = θ n - 알파 * θn`(미분값)