전체 글
-
introduction _ transformertransformer 2024. 6. 28. 15:59
출처: transformer를 활용한 자연어 처리https://product.kyobobook.co.kr/detail/S000200330771 트랜스포머를 활용한 자연어 처리 | 루이스 턴스톨 - 교보문고트랜스포머를 활용한 자연어 처리 | 챗GPT처럼 자연어를 찰떡같이 알아듣는 트랜스포머 완벽 해부트랜스포머는 우리 주변에 가득하다! 트랜스포머 아키텍처는 순식간에 자연어 처리 분야를 지product.kyobobook.co.kr참고로 GPT도 Generated pretrained transformer임 2017년 전까지는 RNN, CNN등을 자연어 처리에서 사용했는데, 잘 안되서, Bidirection이나 attention등을 시도해봤음.그러나 이렇게 하는것이 만족스럽지 않아서 attention만을 사용해서..
-
8-1_(attention_ RNN을 이용한 sequence to sequence의 문제)_ NMT_No_Sampling.ipynbpytorch를 이용한 자연어입문 2024. 6. 21. 15:02
출처 : 파이토치를 이용한 자연어 처리 https://product.kyobobook.co.kr/detail/S000001810395 Q1. attention 왜 나왔는지sequence to sequence(encoder에서 vector통해 decoder나옴)의 Bottle neck문제(문장의 길이가 긴데 다 담지 못하는 문제)RNN 장기의존성문제, gradient vanishing문제를 해결해보려 나온게 attention Q2. Qurery, key, valuequery 는 decoder에서 나오는 벡터key, value 는 encoder에서 나온 벡터 (모든시점의 h) ---------------------------------------------------------------------..
-
-
7_3_Model1_Unconditioned_Surname_Generation.ipynbpytorch를 이용한 자연어입문 2024. 5. 31. 15:31
https://www.yes24.com/Product/Goods/101874047출처 파이토치로 배우는 자연어 처리 - 예스24쉽고 빠르게 익히는 자연어 처리 입문 가이드북자연어 처리(NLP)는 인공지능이 지닌 무한한 능력을 이용해 애플 시리, 아마존 알렉사, 구글 번역 등과 같은 제품을 탄생시켰다. 복잡하고 어렵게www.yes24.com RNN (vanila- 아무것도 없는 상태) - Long Term Dependency - Gradient Vanishing, Gradient Exploding RNN의 일종이고 vanaila RNN보다 개선된 RNN LSTM, GRU(조경현) - Gate -> 일부는 합치지 않고 그냥 흘려보냄 -> 얼마나 흘려보낼지 게이트가 결정
-
6-Surname_Classification_with_RNNs.ipynbpytorch를 이용한 자연어입문 2024. 5. 24. 15:23
RNN순차적 데이터 (Sequential data)Gradient vanishing - 로스를 w에 대해 미분했을때 곲하는값이 많아져서 gradient값(기울기 = 미분) 이 거의 0된데 Long term dependency문장 길이가 길어지면 초반 내용을 기억능력이 떨어짐-> 해결책 -> bidirectional RNN -> 좋은해결책아님장기 의존성(Long-term dependencies)은 모델, 시스템 또는 알고리즘이 입력 시퀀스의 초반부에서 중요한 정보를 시간적 또는 맥락적으로 먼 거리까지 기억하고 활용하는 능력을 말합니다. 이는 여러 머신러닝 및 자연어 처리(NLP) 작업에서 매우 중요한 개념으로, 특히 문장이나 문서 내에서 멀리 떨어진 단어들이나 개념들 간의 관계를 이해하는 데 필요합니다...