자연어(NLP) 자연어(NLP)

변역하려는 문장 상관관계있는 단어를 찾아냄. 비슷한 위치 비슷한 의미라고 가설을 세움연관된 단어 번역 배열나이브하게 번역  단어들이 하나이상의 뜻을 가짐  - 그래서 한단어가 정확하게 번역안될수도있음단어들이 복잡한 형태변환을 가짐 •다만 단순 번역은 실제 자연어의 복잡성을 제대로 반영하지 못함   어떻게 이러한 단서들을 모델링 할 수 있을까?  Conditional Language Modelling  (조건부 언어모델)어떠한 문장이나 글이 있을때 이 글의 확률을 계산하는 모델 문법적으로 맞는 문장이 등장할 확률이 많아짐  사과를 먹다  --> 0사과를 투표하다 ---> x    chatgpt  -> 사과를 먹으면?언어모델이 확률 계산후 확률높은것을 output      1.이러한 개념들을 실제로 확률적 ..

https://proceedings.neurips.cc/paper_files/paper/2013/file/9aa42b31882ec039965f3c4923ce901b-Paper.pdf논문 리뷰시간 = 3일(12~16시간)퀴즈 시간(서머리시간) =   1일  (3~4시간) 5~6 강의 = 24일  랩실 논문 리뷰  임베딩(Embedding) 이란  •단어를 벡터로 바꾼 것 •단어/문장간 관련도 계산•의미적/문법적 정보 함축 •이상적으로, 비슷한 단어는 비슷한임베딩을 가져야 함 임베딩(Embedding) 단어를 벡터로 바꾼 것 단어/문장간 관련도 계산의미적/문법적 정보 함 이상적으로, 비슷한 단어는 비슷한 임베딩을 가져야 함=============== summary=================== •Embe..

Introduction 요약:  간단한 recognation task에서는 적은 labeled dataset도 잘 수행되지만현실에 있는 객체들을 적용하기 위해서는 더큰 학습데이터가 필요함왜냐하면 간단한 recognation task에서는 적은 labeled dataset도 잘 수행되지만   공부해올것:parameter(선형회귀)neuronmax-poolingpooling에는 어떤종류가 있는지non-saturating neurons -> 공부할것dropout -> 공부고양이가 있으면 상하반전등 데이터를 변경 (augmentation기법)-> 공부  출처: https://proceedings.neurips.cc/paper_files/paper/2012/file/c399862d3b9d6b76c8436e924a..