20.activation, relu, sigmoid

4시간 더하면 한책끝나고

6시간 더하면 끝남

 

퍼셉트론

 

뉴럴네트워크 (신경망)의 기본구성요소. 뇌의 뉴런을 본떠 만들었다.

 

활성화 함수 쓰는이유?

-> 비선형함수를 모방하기 위해서

선형변환은 아무리 여러번 해도 선형변환 하나로 취급할수 있기때문에 의미가 없다.

 

아래그림)

chain rule 를 적용하면 기울기가 1/4보다 작거나 같은값 x 1/4 x 곱해져서  0.0000.... 아주작은값이 나와서 

sigmoide에서는 gradient 가 소실된다.  -> 그래서 relu함수를 쓴다.

 

 

아래그림) gradient 소실을 막기위해서 다른 ReLU, PreLu.. 같은 비선형함수(activation function)를 쓴다.

 

 

기타 activation 함수

 

활성화 함수의 역할:

• 신경망에 비선형성을 부여하여, 선형 모델로는 학습할 수 없는 복잡한 패턴을 학습 가능하게 함.
• 은닉층에서는 주로 ReLU나 그 변형이 사용되며, 출력층에서는 문제의 유형에 따라 Sigmoid, Softmax 등이 자주 사용됩니다.

다양한 문제에 따라 적합한 활성화 함수를 선택하는 것이 중요합니다.