multi-class classification

softmax

수식

밑이 e인 지수함수 사용이유

 

 

 

 

softmax

모델의 출력값을  class를 분류하기 위한 0과 1사이의 확률값으로 나타내기 위한방법

 

softmax 사용이유

 

multi-class classification   -> 확률로 나타내기 위해서 softmax 사용

z값(예측값)이 음수, 1보다 큰값이라도 확률로 나타내고 싶음

 

 

밑이 e인 지수함수를

소프트맥스 함수에 사용하는 이유

 

1. 지수함수의 값은 항상 0보다 크기 때문

0<=확률값<= 1

                      e^z1

           ---------------------------     = x라했을때

            e^z1 + e^z2 + e^z3

 

 0<= x  <1

 

분모인      e^z1 + e^z2 + e^z3  는 항상 양수

 

layer통과해서 출력값이 음수 혹은 큰수가 나와도 

    같은값 

---------------       < 1

같은값 + 양수

 

 2. 미분의 간편성

f(x) = e^x  미분    f'(x)= e^x

 

3. 로그함수 (크로스 엔트로피와의 관계)  -> 자연상수 이용하는 이유는 log함수의 계산의 편의성을 위해

 

 

feature 특징

건강, 당뇨 -> class01, class02

class
int age

 

=======================================================

Softmax

multi-class classification 세개이상의 선택지 분류

                              무궁화

P 무궁화 = ---------------------------------

                 무궁화 + 사쿠라 +진달래

 

 

 

e = 자연상수

소프트 맥스: 분류하고자 하는 class가 k개일때 그 k의 값의 확률을 0과 1의 값으로 변경하여 return하는 함수다.

 

분모를 다 더하면 1이다. 분자는 데이터 값

 

K = Class의 갯수

 

Q. 자연상수 e를 쓰는이유:

               -> 미분을 쉽게 하기 위해서

 

 

 

 

Q. one hot vector 사용이유

one hot vector 무작위성 때문이다

       softmax로 예측값을  0과 1사이의 확률값으로 나타내는데 

       class별로 같은 방식으로 loss를 구해줘야 하기 때문 

 

cross entropy

 

=====================

one hot vector 

k개 class가 있을때,

k차원의 열벡터를 이용해서

클래스를 분류하는 방법

 

 

======================================================================