-
6-Surname_Classification_with_RNNs.ipynbpytorch를 이용한 자연어입문 2024. 5. 24. 15:23
RNN
순차적 데이터 (Sequential data)
Gradient vanishing - 로스를 w에 대해 미분했을때 곲하는값이 많아져서 gradient값(기울기 = 미분) 이 거의 0된데
Long term dependency
문장 길이가 길어지면 초반 내용을 기억능력이 떨어짐
-> 해결책 -> bidirectional RNN -> 좋은해결책아님
장기 의존성(Long-term dependencies)은 모델, 시스템 또는 알고리즘이 입력 시퀀스의 초반부에서 중요한 정보를 시간적 또는 맥락적으로 먼 거리까지 기억하고 활용하는 능력을 말합니다. 이는 여러 머신러닝 및 자연어 처리(NLP) 작업에서 매우 중요한 개념으로, 특히 문장이나 문서 내에서 멀리 떨어진 단어들이나 개념들 간의 관계를 이해하는 데 필요합니다.
Bidirectional
출처
https://product.kyobobook.co.kr/detail/S000001810395
파이토치로 배우는 자연어 처리
'pytorch를 이용한 자연어입문' 카테고리의 다른 글