자연어(NLP) 자연어(NLP)

https://aigs.kr/default/company/company_04.php?topmenu=1&left=4 https://aigs.kr/default/company/company_04.php?left=4&topmenu=1 aigs.kr

text의 라벨을 tag하기위한 방법  한 글에대해 label이 달린 갯수 label (정답)이 달린게 적은상황. 조취가 필요함title, body, label을 데이터에서 갖고옴  #중복텍스트제거 #텍스트의 길이  #텍스트의 길이 분포로 나타낸거 (제목, 글내용)0.7정도일때 성능이 제일 높았다가 threshold가 높으면 성능이 떨어짐                 label(의 종류가 class)   -> multi label classification            class1      class2     class3 text1      0             0             1 text2      1             1             0 text3      1     ..

parameter - model weight hyper-parameter - learning rate - alpha gamma - batch size, epoch 옵투나로 좋은 하이퍼파라미터 찾기아래그림)multi label classification 라벨 여러개 달릴수 있는 분류문제

sequence classification text classification  [0.8, 0.2] -> 확률분포 [31.2, 21.7] ->logit 하나의 위치(CLS) token에서만 logit vector를 뽑음 head [representation vector, context vector] [     ]     [     ]      [       ]   [      ]    [        ] 1 2 3 4 5 [CLS]      i           love        this        soup      ..... representation vector : 문장의 의미를 전부담고있는 vector context vector :문장의 의미를 전부담고있는 vector [CLS] token을 ..

출처 https://product.kyobobook.co.kr/detail/S000200330771 트랜스포머를 활용한 자연어 처리 | 루이스 턴스톨 - 교보문고트랜스포머를 활용한 자연어 처리 | 챗GPT처럼 자연어를 찰떡같이 알아듣는 트랜스포머 완벽 해부트랜스포머는 우리 주변에 가득하다! 트랜스포머 아키텍처는 순식간에 자연어 처리 분야를 지product.kyobobook.co.kr아래그림 설명출처: [NLP] N-gram 언어 모델의 개념, 종류, 한계점📚 목차 1. N-gram 개념 2. N-gram 등장 배경 3. N-gram 종류 4. N-gram 기반 단어 예측 5. N-gram의 한계점 1. N-gram 개념 언어 모델(Language Model)은 문장 내 앞서 등장한 단어를 기반으로 이어..

출처 https://product.kyobobook.co.kr/detail/S000200330771 트랜스포머를 활용한 자연어 처리 | 루이스 턴스톨 - 교보문고트랜스포머를 활용한 자연어 처리 | 챗GPT처럼 자연어를 찰떡같이 알아듣는 트랜스포머 완벽 해부트랜스포머는 우리 주변에 가득하다! 트랜스포머 아키텍처는 순식간에 자연어 처리 분야를 지product.kyobobook.co.kr  아래그림) causal launguage model앞에 단어를 모두 보고 그다음 단어를 맞추는 방법( 그 확률값들을 구해서 다 곱해주는것)  출처https://chloamme.github.io/2021/12/08/illustrated-gpt2-korean.html [번역] 그림으로 설명하는 GPT-2 (Transformer..

출처  https://product.kyobobook.co.kr/detail/S000200330771 출처: RoBERTa 논문아래그림) RoBERTa(모델) 가 BERT(모델)보다 성능이 향상됨. 데이터를 10배정도 늘렸고, Pretraining 방식을 바꿈아래그림) NER Task(모델아님 task) 각 단어가 사람인지 지역인지 분류하는 task  ->출처 https://arxiv.org/pdf/1907.11692    아래그림) NER Task 각 단어가 사람인지 지역인지 분류하는 task 아래그림)  4개의 언어의 dataset임 , 독일어의 비중이 가장많고 다른언어 비율이 나타남.  shuffle로 원래 있는 data를 섞어서 random하게 갖고온다는뜻 아래그림) 우리가 갖고오고 싶은 언어의 ..

출처  https://product.kyobobook.co.kr/detail/S000200330771 인용Vaswani, Ashish, et al. "Attention is all you need." Advances in neural information processing systems 30 (2017).  출처https://nlpinkorean.github.io/illustrated-transformer/   The Illustrated Transformer저번 글에서 다뤘던 attention seq2seq 모델에 이어, attention 을 활용한 또 다른 모델인 Transformer 모델에 대해 얘기해보려 합니다. 2017 NIPS에서 Google이 소개했던 Transformer는 NLP 학계에서..