6_요약_Surname_Classification_with

pytorch를 이용한 자연어입문

6_요약_Surname_Classification_with_RNNs.ipynb

네이쳐2024 2024. 5. 24. 15:23

RNN

순차적 데이터 (Sequential data)

Gradient vanishing - 로스를 w에 대해 미분했을때 곲하는값이 많아져서 gradient값(기울기 = 미분) 이 거의 0된데

Long term dependency

문장 길이가 길어지면 초반 내용을 기억능력이 떨어짐

-> 해결책 -> bidirectional RNN -> 좋은해결책아님

장기 의존성(Long-term dependencies)은 모델, 시스템 또는 알고리즘이 입력 시퀀스의 초반부에서 중요한 정보를 시간적 또는 맥락적으로 먼 거리까지 기억하고 활용하는 능력을 말합니다. 이는 여러 머신러닝 및 자연어 처리(NLP) 작업에서 매우 중요한 개념으로, 특히 문장이나 문서 내에서 멀리 떨어진 단어들이나 개념들 간의 관계를 이해하는 데 필요합니다.