순전파(Forward Propagation)

 

 

데이터가 여러개더라도 한번에 행렬의곱으로 처리가능하다.

 

손실함수(loss function)

손실함수는 실제값과 예측값의 차이를 수치화 하는 함수

 

1. MSE

2. Cross entropy(log함수)

 

배치크기(Batch size)

배치는 학습을 하기위해 투입되는 데이터의 양

batch size = row의 갯수

 

epoch   

전체 데이터에 대한 훈련 횟수

batch는 전체 데이터를 part화한것

 

 

 

아래그림) 모든 데이터에 대해 경사하강법을 하면 학습이 느리다.

 

아래그림) 배치 경사하강법

모든 데이터에 대해 경사하강법을 하면 학습이 느리다.

 

2. Stochastic Gradient Descent (SGD)

   확률적 경사하강법

 

3. 미니 배치 경사하강법( Mini Batch Descent)