자연어(NLP) 자연어(NLP)

전체 글

• SVM(Support Vector Machine)

  practice_인공지능,머신러닝 2024. 10. 11. 13:06

  •SVM(Support Vector Machine)의 기본 개념과 주요 구성 요소에 대해 설명해 주세요. 결정경계포인트(Support vector)는 결정경계에 가장 가까이 있는 데이터들마진: support vector들과 결정경계 사이의 간격 SVM(Support Vector Machine)의 기본 개념support vector들 margin을 극대화화는 결정경계를 찾는다

  Read More
• 교차검증

  practice_인공지능,머신러닝 2024. 10. 11. 12:55

  머신러닝에서 교차 검증(Cross-Validation)의 개념과 그 장점에 대해 설명해 주세요.   교차 검증은 데이터셋을 여러 개의 부분으로 나누어 모델을 학습하고 평가하는 기법입 니다. 예를 들어, K-겹 교차 검증에서는 데이터셋을 K개의 폴드로 나누어 K-1개의 폴드로 모델을 학습하고, 나머지 1개의 폴드로 평가를 수행합니다. 이 방법은 모델의 일반화 성 능을 더 정확하게 평가할 수 있게 해줍니다.

  Read More
• 전이학습 (Transfer Learning)

  practice_인공지능,머신러닝 2024. 10. 11. 12:45

  •딥러닝에서 전이학습 (Transfer Learning) 의 개념과 이를 사용하는 이유에 대해 설명해 주 세요. •전이 학습은 특히 새로운 작업에 대한 데이터가 많이 없을때 유용함•만약 데이터의 크기가 적다면, 모델이 (불필요하게) 미세한 특징까지 다 기억할 수 있음 -> 오버피팅  ---------------------------------------------------------•이미 학습된 모델을 다른 (관련된) 작업에 사용하는 것 •모델을 처음부터 학습시키는 것은 매우 많은 데이터를 필요로 하며, 또한 많은 시간이 소요됨•따라서, 이미 만들어져 있는 모델이 있다면, 이를 약간의 수정을 거쳐서 다른 작업에 사용하는 것이 효율적 •기존 모델은 이미 많은 데이터를 통해 학습이 되어 있는 상태•따라서 ..

  Read More
• GPT (다음단어맞추기가 핵심)

  practice_최신트랜드 논문 2024. 10. 7. 14:38

  Transformer의 decoder부분만 쌓음pretrain: 다음 token예측 -> GPT1

  Read More
• Stack and Heap

  practice_자료구조/리스트,스택,큐, 딕셔너리 2024. 10. 6. 16:26

  코드영역: 실행할 프로그램의 코드(명령어)가 저장 되는 지역아래그림) 데이터 영역 - 정적데이터가 저장되는 위치초기화된 변수, 초기화 되지 않은 변수를 저장함 실행할때 1. 코드영역(명령어) 확인후2. data에 가서 찾음  3.  heap 영역동적메모리로서 사용자가 사용시 할당됨 stack 영역last in First out함수 호출시 할당되는 지역변수, 함수 매개변수, 반환 주소를 저장

  Read More
• 정렬알고리즘 - Quick Sort 퀵정렬

  practice_자료구조/정렬알고리즘 2024. 10. 6. 16:12

  Read More
• 하이퍼파라미터 튜닝 (Hyperparameter tuning): 학습률, 배치 크기, Grid search

  practice_인공지능,머신러닝 2024. 10. 5. 19:24

  Q. 딥러닝에서 하이퍼파라미터 튜닝(Hyperparameter Tuning)이란 무엇이며, 대표 적인 하이퍼파라미터에 대해 설명해 주세요.  일반적으로 모델을 학습한다는 것은, parameter를 업데이트 하는 것이다 (주어진 데이터로 역전파 등 사용) 모델의 학습 과정 전체에 영향을 미치는 값들이 있다. 예를 들어 학습이 얼마나 빨리 진행되는지 (학습률), 데이터를 몇번 학습할지 (epoch) 등이 있다 이러한 값들을 Hyper Parameter 라고 하며, 처음에 설정되어 일반적으로 학습 도중에는 변하지 않는다. 이때, 모델을 잘 학습시키기 위해서는, 적절한 Hyper parameter 의 설정이 필수적이다. -> 적절한 HP 를 어떻게 찾을 수 있을까? 동일한 인공지능 모델을 여러개 만드는데 (동일..

  Read More
• 14. 중앙값(Median)과 평균(Mean)의 차이점과 각각의 장점

  practice_선형대수 2024. 10. 4. 20:01

  •(확률론에서) 중앙값(Median)과 평균(Mean)의 차이점과 각각의 장점에 대해 설명해 주세요.  •평균•모든 데이터를 반영한다. 다 더해서 N개로 나눈다.•이상치에 민감하다 (극단적인값 = 이상치) 평균을 낼때 극단적인값도 포함되서 민감  •중앙값•모든 데이터를 반영하지 않는다 (중앙에 있는 값 하나만 사용)•이상치에 덜 민감하다 •예를 들자면, 이**은 서울대 동양철학과를 졸업했다  -> 이상치 •이때 서울대 **과의 졸업생의 연봉 평균을 내면, 이게 정말 대표성이 있는 값일까?    •이런 상황에서는 중앙값을 쓰는 것이 더 유용함

  Read More