전체 글
-
gradient인공 지능 개념 2024. 7. 31. 10:42
출처: 패스트캠퍼스/ 딥러닝·인공지능 Signature 초격차 패키지 Online•입력과 출력 간의 (선형)관계를 파악하는 것-> 처음 보는 입력에 대해서도 적합한 출력을 얻기 위함•키와 몸무게의 (선형)관계를 파악해서-> 처음보는 키에 대해서도 적합한 몸무게를 출력하는 머신을 만들어보자•“적절한” a, b 를 찾자 뭐에 기반해서?적절하다는 것은? 적절한 a, b 찾기•loss (=cost)를 최소화 하는 a, b 가 바로 적절한 a, b!•머신의 출력(예측 y)̂ 과 나와야할 출력(정답)의 차이로 loss를 정의해보자•다양한 loss 함수 중 MSE (Mean squared error) 라는걸 쓴거다!•L을 최소화하는 a, b 어떻게 찾지?-> a, b를 일일 하 바꿔가며 L 값을 그래프로 그려보자..
-
neuron과 인공신경망인공 지능 개념 2024. 7. 30. 19:57
출처: 패스트캠퍼스/ 딥러닝·인공지능 Signature 초격차 패키지 Online 인공신경망 ANN: Artificial Neural Network•노드(혹은 unit)와 엣지(혹은 connection)로 이루어져있다.•웨이트(중요도)를 곱하고 바이어스(민감도)와 함께 더하고, 액티베이션!•여러가지 액티베이션이 존재. 여기서 본 건 unit (1) step (계단) function•주어진 입력에 대해 원하는 출력이 나오도록 웨이트, 바이어스를 AI가 알아내는 것! 그게 바로 “AI가 학습을 한다”는 것의 실체!근데, AI가 스스로 적절한 웨이트, 바이어스를 알아내기 때문에 대박 •곱하고 더하고 activation, 곱하고 더하고 activation, .. 반복이네!•모든 노드들이 연결되어있는 신경망을..
-
선형회귀 _ Linear regression인공 지능 개념 2024. 7. 30. 19:55
출처: 패스트캠퍼스/ 딥러닝·인공지능 Signature 초격차 패키지 Online•입력과 출력 간의 (선형)관계를 파악하는 것-> 처음 보는 입력에 대해서도 적합한 출력을 얻기 위함•키와 몸무게의 (선형)관계를 파악해서-> 처음보는 키에 대해서도 적합한 몸무게를 출력하는 머신을 만들어보자•“적절한” a, b 를 찾자 뭐에 기반해서?적절하다는 것은? 적절한 a, b 찾기•loss (=cost)를 최소화 하는 a, b 가 바로 적절한 a, b!•머신의 출력(예측 y)̂ 과 나와야할 출력(정답)의 차이로 loss를 정의해보자•다양한 loss 함수 중 MSE (Mean squared error) 라는걸 쓴거다!•L을 최소화하는 a, b 어떻게 찾지?-> a, b를 일일 하 바꿔가며 L 값을 그래프로 그려보자..
-
cnn 논문리뷰논문리뷰 2024. 7. 30. 12:19
Introduction 요약: 간단한 recognation task에서는 적은 labeled dataset도 잘 수행되지만현실에 있는 객체들을 적용하기 위해서는 더큰 학습데이터가 필요함왜냐하면 간단한 recognation task에서는 적은 labeled dataset도 잘 수행되지만 공부해올것:parameter(선형회귀)neuronmax-poolingpooling에는 어떤종류가 있는지non-saturating neurons -> 공부할것dropout -> 공부고양이가 있으면 상하반전등 데이터를 변경 (augmentation기법)-> 공부 출처: https://proceedings.neurips.cc/paper_files/paper/2012/file/c399862d3b9d6b76c8436e924a..
-
04_multilingual-ner.ipynbtransformer 2024. 7. 26. 14:22
출처 https://product.kyobobook.co.kr/detail/S000200330771 출처: RoBERTa 논문아래그림) RoBERTa(모델) 가 BERT(모델)보다 성능이 향상됨. 데이터를 10배정도 늘렸고, Pretraining 방식을 바꿈아래그림) NER Task(모델아님 task) 각 단어가 사람인지 지역인지 분류하는 task ->출처 https://arxiv.org/pdf/1907.11692 아래그림) NER Task 각 단어가 사람인지 지역인지 분류하는 task 아래그림) 4개의 언어의 dataset임 , 독일어의 비중이 가장많고 다른언어 비율이 나타남. shuffle로 원래 있는 data를 섞어서 random하게 갖고온다는뜻 아래그림) 우리가 갖고오고 싶은 언어의 ..
-
03_transformer 파해치기 https://nlpinkorean.github.io/illustrated-transformer/transformer 2024. 7. 12. 15:59
출처 https://product.kyobobook.co.kr/detail/S000200330771 인용Vaswani, Ashish, et al. "Attention is all you need." Advances in neural information processing systems 30 (2017). 출처https://nlpinkorean.github.io/illustrated-transformer/ The Illustrated Transformer저번 글에서 다뤘던 attention seq2seq 모델에 이어, attention 을 활용한 또 다른 모델인 Transformer 모델에 대해 얘기해보려 합니다. 2017 NIPS에서 Google이 소개했던 Transformer는 NLP 학계에서..
-
F1 scoretransformer 2024. 7. 12. 15:29
출처 https://product.kyobobook.co.kr/detail/S000200330771f1 score 는 precision과 recall의 조화평균 F1 score 는 라벨이 불균형할때 정확도 보다 우선시 되는 metric precision은 모델이 정답이라고 예측하는것중에 실제 맞춘거의 비율recall은 데이터의 정답중에서 모델이 몇개나 찾아냈냐는 비율 label: 0 0 1 0 1 0 0 0 0 1 신 양성 = 1일때pred : 0 0 0 0 0 0 0 0 0 1 acc: 80% -> 1이 모델이 맞다고 예측한것인데 실제 정답인 label에서 맞춤 -> label / pred -> 1/1 precision - 1이 모델이 맞다고 예측한것인데 실제 정답인 label에서 ..