자연어(NLP) 자연어(NLP)

https://www.acmicpc.net/problem/5555

리스트(List), 스택(Stack), 큐(Queue), 셋(Set), 딕셔너리(Dictionary)는 파이썬을 비롯한 프로그래밍에서 자주 사용되는 데이터 구조입니다. 각 데이터 구조의 특징과 사용 예를 살펴보겠습니다.1. 리스트(List)정의: 리스트는 순서가 있는 변경 가능한 시퀀스 데이터 구조입니다. 다양한 타입의 데이터를 저장할 수 있고, 인덱스로 접근 가능합니다.특징:인덱스 기반으로 원소에 접근 가능 (0번 인덱스부터 시작)중복된 값을 허용크기가 가변적 (동적으로 크기가 변함)메서드 예시: append(), remove(), insert(), pop(), sort()예시: my_list = [1, 2, 3, 4, 5]my_list.append(6) # [1, 2, 3, 4, 5, 6]2. 스택..

4시간 더하면 한책끝나고6시간 더하면 끝남 퍼셉트론 뉴럴네트워크 (신경망)의 기본구성요소. 뇌의 뉴런을 본떠 만들었다. 활성화 함수 쓰는이유?-> 비선형함수를 모방하기 위해서선형변환은 아무리 여러번 해도 선형변환 하나로 취급할수 있기때문에 의미가 없다. 아래그림)chain rule 를 적용하면 기울기가 1/4보다 작거나 같은값 x 1/4 x 곱해져서  0.0000.... 아주작은값이 나와서 sigmoide에서는 gradient 가 소실된다.  -> 그래서 relu함수를 쓴다.  아래그림) gradient 소실을 막기위해서 다른 ReLU, PreLu.. 같은 비선형함수(activation function)를 쓴다.  기타 activation 함수 활성화 함수의 역할:신경망에 비선형성을 부여하여, 선형 모델..

attention 은 rnn 으로 sequence 2 sequence에서 bottle neck problem(시간관계없고, 어떤문장이든 길어지던간에 고정길이 ht에 정장한다.) 을 해결하기 위해 나옴data의 어떤 부분에 집중 attention해서 출력을 계산해야할지 자동으로 학습하는기법장점: 중요한부분에 집중해서 계산(마지막 ht만 본게 아니라 여러 h를 보면서 그중 어디 집중할지 보니,정보손실이 없다)    bottle nectk problem: final ht에 너무 많은 정보를 넣어서 병목현상문제 발생 해결점 -> attention mechanisam입력문제를 다 보지 않고 집중해서 몇몇만 봄  attention -> 입력값, 출력값을 잘 나열 -> alignment로 부름 (without sup..

RNN 개념sequence 를 모델링 할수 있는 neural network 개념 장점: 길이가 10 -> 50 문장 변동될때 가변길이 sequence를 모델링할수있다.10-> 10,  50-> 10       but CNN은 어려움cnn은 입력되는 이미지 크기가 달라지면 출력되는 이미지 크기도 달라짐 예) 출력되는 hidden vector 가 같다.문장길이에 상관없이 고정되는 hidden vector -> 마지막 ht 사용해서 입력되는 문장의 길이가 상관없다. 단점: gradient vasnishing, exploding, longterm dependency극복방안: LSTM(long short term memory)cell state를 추가,  cell gate -> gradient vaninshing..

베이즈정리는 하나의 사건이 주어졌을때 , 다른 사건의 확률을 계산하는것에 사용됩니다. 예) 아무정보가 없을때, 주사위에서 1이 나올확률 1/6 (1,2,3,4,5,6)-> 1/6하지만 "홀수가 나왔다" 는 것을 알게된 상황에서는, 1이 나올확률 1/3 (1,3,5) -> 1/3    P(A,B) = 동시에 일어날 확률P(A|B)P(B) = (B가 주어진 가정하에 A가 일어날확률) x (확률B)

방향이 비슷하면 내적값이 크다.cosine 크기가 크면 거리가 수직으로 내린점에서부터 멀다. rc(code의 벡터공간에 표현 representation) code data들을 어떤공간에 갖다놓은것 rc, rc' 각도가 비슷하면 비슷한코드 1번위치에 unknwon 코드 넣은값이   :    0.9   rc  rc1 의 cosine 과2번위치에 unknwon 코드 넣은값이   :

선형 회귀(Linear Regression)와 이진 분류(Binary Classification)는 모두 머신러닝의 중요한 개념이지만, 문제를 해결하는 방식과 목표가 다릅니다. 아래에서 그 차이를 설명해드릴게요. 선형회귀선으로 추세선을 그음선형 회귀(Linear Regression)와 이진 분류(Binary Classification)는 모두 머신러닝의 중요한 개념이지만, 문제를 해결하는 방식과 목표가 다릅니다. 아래에서 그 차이를 설명해드릴게요. 선형 회귀(linear regression)는 종속 변수(예: 가격, 수익)와 하나 이상의 독립 변수(예: 시간, 광고비) 간의 관계를 직선의 형태로 모델링하는 통계적 방법입니다  선형회귀 선으로 추세선을 그음 양극단에 있는 부모 아래에서, 똑같이 극단적인 자..