전체 글
-
Optimizer인공 지능 개념 2024. 9. 6. 20:50
1. 모멘텀(Momentum)관성을 사용해서 local minimum을 극복한다. tf.keras.optimizers.SGD(lr=0.01, momentum=0.9)optimizer는 stochastic gradient descent 2. 아다 그라드(Adagrad)변화가 많은 가중치의 러닝레이트를 올린다. 빠르게 학습시켜주기 위함epsilon을 사용 3. 알엠에스프롭(RMS prop)아다그라드는 시간이 지나면 학습률이 많이 낮아지는 문제점을 극복하기 위한법이 RMS prop 4. Adam(RMSprop + 모멘텀)
-
순전파(Forward Propagation)인공 지능 개념 2024. 9. 6. 20:14
데이터가 여러개더라도 한번에 행렬의곱으로 처리가능하다. 손실함수(loss function)손실함수는 실제값과 예측값의 차이를 수치화 하는 함수 1. MSE2. Cross entropy(log함수) 배치크기(Batch size)배치는 학습을 하기위해 투입되는 데이터의 양batch size = row의 갯수 epoch 전체 데이터에 대한 훈련 횟수batch는 전체 데이터를 part화한것 아래그림) 모든 데이터에 대해 경사하강법을 하면 학습이 느리다. 아래그림) 배치 경사하강법모든 데이터에 대해 경사하강법을 하면 학습이 느리다. 2. Stochastic Gradient Descent (SGD) 확률적 경사하강법 3. 미니 배치 경사하강법( Mini Batch Descent)
-
[논문리뷰]DIP: Dead code Insertion based Black-box Attack for Programming Language Model논문리뷰 2024. 9. 6. 15:52
출처 : DIP: Dead code Insertion based Black-box Attack for Programming Language ModelACL 2023 CheolWon Na, YunSeok Choi, Jee-Hyong Lee† Sungkyunkwan University {ncw0034, ys.choi, john} @ skku.eduCheolWon Na ncw0034@skku.edu Information & Intelligence Lab @ SKKU 자연어학회: ACL, EMNLP, NAACL 딥러닝, 인공지능: ICML, ICLR, NIPS이미지: CVPR DIP: Dead code Insertion based Black-box Attack for Programming Language ..
-
Explicit test: BLEU카테고리 없음 2024. 9. 5. 19:06
Explicit test: BLEU (precision) •1-gram BLEU score:••Candidate 1: "The cat sleeps peacefully."••Reference 1: "The cat rests quietly." •Reference 2: "A cat naps peacefully." •Reference 3: “A cat sleeps soundly at night." ••BLUE: (Candidate 의 총 단어 수) / (Reference에 등장한 단어 수)4 / 4 = 1 Explicit test: ROGUE(recall) - recall Explicit test: BLEU •단점:•계산 과정에서 Precision만 고려하고, Recall은 무시함•예를 들자면, 전문가가..
-
Perceptron인공 지능 개념 2024. 9. 5. 12:00
Activation - 활성화함수 relu ㅎ마수 x x >= y = xf = relu 당뇨 = 혈압에 있는 w3 가중치가 높아진다.단층레이어 and gate x1, x2가 같을때or gate x1, x2가 같을때와 둘중하나면 1이어도됨 컴퓨터 가 null, 0 ->틀린거, 없는거 표시반대개념 -> 정답, 만족함, 1while(1) -> 항상만족함 and gate -> 둘다 만족함 and gate or gate Nand gate => and의 반대 x or gate서로 다를때만 1
-
Evaluation자연어 foundation 2024. 9. 4. 20:52
•언어 모델은 주어진 글의 “그럴싸함“ 을 계산함•글이 문법이나 의미적으로 올바를 경우 높은 확률•그렇지 않을 경우 낮은 확률••이러한 확률은 데이터셋에서 계산됨•최대우도법 등 = 직접 경우의 수를 세는것 Why is evaluation needed? •언어 모델이 “잘 작동한다“ 는 것은, 주어진 모델의 확률 계산이 정확하다는 것 •다시 말하자면, 주어진 단어 (입력값)에 대해 정확하고 적절한 대답을 이 언어 모델이 만들어 낼 수 있다는 것••이때 이러한 확률이 정확한지 어떻게 평가할 수 있을까?• ••언어 모델은 말 그대로 “모든 언어”에 대한 확률을 계산해야 함•다양한 분야와 형식에도 적절히 대응하여야 함è어떠한 사람의 능력을 평가하는 것과 유사함 •예를 들어, 어떤 모델을 경제신문에서만 학습했..
-
선형대수수학 2024. 9. 4. 12:59
두 점사이의 거리 방향과 길이가 같으면 똑같은 벡터임 (시작과 끝이 달라도 ) 2) 만약 벡터 u 와 v 중 어느 하나도 다른 하나의 스칼라 배 (Scalar Multiple) 가 아니라면,R^2 의 모든 벡터는 u 와 v 의 선형 결합 (Linear Combination) 으로 표현될 수 있다. (참 / 거짓) 벡터 u 와 v 중 어느 하나도 다른 하나의 스칼라 배 (Scalar Multiple) 가 아니라면, -> 직선에 있지 않다. R^2 = 2차원 공간R^2 의 모든 벡터는 u 와 v 의 선형 결합 (Linear Combination) 으로 표현될 수 있다 -> 참 선형 결합 -> 더하기 빼는것 만약 벡터 u 와 v 중 어느 하나도 다른 하나의 스칼라 배 (Scalar Mul..