-
introduction _ transformertransformer 2024. 6. 28. 15:59
출처: transformer를 활용한 자연어 처리
https://product.kyobobook.co.kr/detail/S000200330771
참고로 GPT도 Generated pretrained transformer임
2017년 전까지는 RNN, CNN등을 자연어 처리에서 사용했는데,
잘 안되서, Bidirection이나 attention등을 시도해봤음.
그러나 이렇게 하는것이 만족스럽지 않아서 attention만을 사용해서 모델을 만드는것이
transformer임.
'transformer' 카테고리의 다른 글
04_multilingual-ner.ipynb (0) 2024.07.26 03_transformer 파해치기 https://nlpinkorean.github.io/illustrated-transformer/ (0) 2024.07.12 F1 score (0) 2024.07.12 02. classification (0) 2024.07.06 글내에서 어떤단어가 제품,사람, 장소인지 알려줌회사나 조직인지 분류 하는 태스크 : ner (0) 2024.07.05