자연어(NLP) 자연어(NLP)

softmax수식밑이 e인 지수함수 사용이유    softmax모델의 출력값을  class를 분류하기 위한 0과 1사이의 확률값으로 나타내기 위한방법 softmax 사용이유 multi-class classification   -> 확률로 나타내기 위해서 softmax 사용z값(예측값)이 음수, 1보다 큰값이라도 확률로 나타내고 싶음  밑이 e인 지수함수를 소프트맥스 함수에 사용하는 이유 1. 지수함수의 값은 항상 0보다 크기 때문0                      e^z1           ---------------------------     = x라했을때            e^z1 + e^z2 + e^z3  0 분모인      e^z1 + e^z2 + e^z3  는 항상 양수 layer통과해..

0차원 텐서 (스칼라)1차원 텐서(벡터)  [1,2,3,4]2차원 텐서(행렬) [1,2,3,4] [6,6,7,8]                         1 2 3 4                          6 6 7 8 3차원  텐서(다차원)   [[1,2,3,4][5,6,7,8]],                                ([                                [[1,2,3,4][5,6,7,8]]                               ]) 다중선형 회귀   입력벡터, 가중치 벡터 데이터 여러개랑 가중치 여러개를 컴퓨터로 계산 대문자 가 행렬행렬끼리 더하려면 행,열 수가 같아야하므로         X x W 는 M행 J열되어야한다.

크로스 엔트로피  => cost function을 계산하기 위한 방법이다.                            ==> loss값    로그 함수 정리크로스 엔트로피  => cost function을 계산하기 위한 방법이다.                            ==> loss값            ============================================================================================

합격이나 불합격이나 구분- 이진분류이진 분류통 or 분류스팸 or not 스팸둘중하나를 선택하기 위한것 -> 실제값 0과 1중하나   로지스틱 회귀 이진분류를 할때 사용하는 회귀 방법으로  확률값을 통해 분류하는 방법이다. 어떻게 -> 크로스엔트로피를 활용하여 실제값과 예측값의차이(loss)를 줄여서 정답에 가깝게 하는방법  로지스틱 회귀이진분류를 해야하는 상황에서 정답에 가까운 확률로 예측값을 구하는방법크로스엔트로피 방법시그모이드로 확률로 예측값을 표현하고, 그예측값을 크로스 엔트로피로 loss값을 구한다.크로스엔트로피 사용이유시그모이드 함수에서 확률로 나오기 때문에 log함수를 이용해서 loss값을 표현해준다.        아래그림) 크로스엔트로피크로스엔트로피는 cost function을 만들기 위한..

경사하강법접선의 기울기 값을 따라서 하강해나간다. θn 새로운 것을 구할때, 기존 θ는 θn-1 이고 기존에 기울기 ((θn-1)의 미분값)이 -5일때 알파값 -2를 곱하면 θn-1 기존값인 -4에서 오른쪽으로 간다. 알파(러닝레이트 - 얼마나 움직일지) 기울기가 특정 θ에서 0이면 그 θ값으로 수렴한다.(수렴= 같은값이 계속나옴) LOSS FUNCTION에 최소값을 찾은것최소값을 만드는 파라미터를 찾음2차함수는 LOSS FUNCTION예측함수에 맞는  예측함수를 평가하기 위해만든 로스함수예측함수에 맞는 최고의 파라미터

https://velog.io/@supremo7/%EB%A8%B8%EC%8B%A0-%EB%9F%AC%EB%8B%9D-%EC%84%A0%ED%98%95-%ED%9A%8C%EA%B7%80Linear-Regression [머신 러닝] 선형 회귀(Linear Regression)선형 회귀 집의 크기로 집의 값을 예측하는 경우를 생각해봅시다. 선형 회귀는 데이터에 가장 적절한 하나의 선을 찾아냅니다. 이 선을 최적선이라 합니다. 이 선을 통해 새로운 집의 크기에 대velog.io--> 이 식에 대해 설명해오기 경사하강법loss함수(1차함수던지 2차함수인지)에서 경사하강법을 사용한다.예) 당뇨일때 혈당가중치를 올려야 loss가 줄여짐  아래그림) 빨간직선이 평수에 따른 예상금액                파란점이 ..

인공신경망   ANN Artificial neural network 노드(unit) 또는 에지(connection)으로 이루어져있다. 웨이트를 곱하고 바이어스(민감도)와 함께 더하고, 엑티베이션 여러가지 엑티베이션이 존재 주어진 입력에 대해 원하는 출력이 나오도록 웨이트, 바이어스를 ai가 알아내는것 -> AI가 학습을 한다 AI가 스스로 적절한 웨이트, 바이어스를 알아내기때문에 대박 곱하고 더하고 activation의 반복 모든 노드들이 연결되 있는 신경망 multi layer perception  perception은 unit step function을 활성화 함수로 사용하는 인공신경의미 MPL는 임의의 활성화 함수를 사용하는 인공신경망 hidden layer 앞이나 뒤에서 안보여서 input lay..

출처: 패스트캠퍼스/  딥러닝·인공지능 Signature 초격차 패키지 Online•입력과 출력 간의 (선형)관계를 파악하는 것-> 처음 보는 입력에 대해서도 적합한 출력을 얻기 위함•키와 몸무게의 (선형)관계를 파악해서-> 처음보는 키에 대해서도 적합한 몸무게를 출력하는 머신을 만들어보자•“적절한” a, b 를 찾자 뭐에 기반해서?적절하다는 것은?  적절한 a, b 찾기•loss (=cost)를 최소화 하는 a, b 가 바로 적절한 a, b!•머신의 출력(예측 y)̂ 과 나와야할 출력(정답)의 차이로 loss를 정의해보자•다양한 loss 함수 중 MSE (Mean squared error) 라는걸 쓴거다!•L을 최소화하는 a, b 어떻게 찾지?-> a, b를 일일 하 바꿔가며 L 값을 그래프로 그려보자..