자연어(NLP) 자연어(NLP)

•(확률론에서) 중앙값(Median)과 평균(Mean)의 차이점과 각각의 장점에 대해 설명해 주세요.  •평균•모든 데이터를 반영한다. 다 더해서 N개로 나눈다.•이상치에 민감하다 (극단적인값 = 이상치) 평균을 낼때 극단적인값도 포함되서 민감  •중앙값•모든 데이터를 반영하지 않는다 (중앙에 있는 값 하나만 사용)•이상치에 덜 민감하다 •예를 들자면, 이**은 서울대 동양철학과를 졸업했다  -> 이상치 •이때 서울대 **과의 졸업생의 연봉 평균을 내면, 이게 정말 대표성이 있는 값일까?    •이런 상황에서는 중앙값을 쓰는 것이 더 유용함

•확률 변수의 기댓값의 성질과 기댓값의 선형성(Linearity of Expectation)에 대 해 설명해 주세요. Q. 기대값의 성질(개념)A. 확률변수에서 평균적으로 나오는값이고 선형성을 가진다. Q. 기댓값의 선형성(Linearity of Expectation)A.1.확률변수의 합의 기대값은, 확률변수의 기대값의 합과 같다.    E(X+Y+Z) = E(x)+E(y)+E(z)2. E(cX) = cE(X)      임의의 상수를 곱한 확률변수의 기대값은, 확률변수의 기대값에 상수를 곱한것과 같다. 확률변수의 경우, 기댓값이 이러한 선형성을 만족합니다. 즉, 두 확률변수의 기댓값의 합은 각 기댓값의 합과 같고, 스칼라를 곱한 경우도 마찬가지입니다.간단히 말하면, 선형성은 "합치거나 스케일할 때, 그 ..

Q.  선형대수에서 선형 변환(Linear Transformation)의 정의는 무엇인가요. A. *선형 변환(linear transformation)**은 벡터 공간에서 한 벡터를 다른 벡터로 변환하는 함수로, 이 함수는 두 가지 중요한 속성을 만족합니다: 반시계방향, 시계방향변경가능 다양한 변환을 나타날수있음  벡터회전•선형 변환은 이와 같이, 주어진 벡터를 다양하게 변형시키는 것이다•모든 선형 변환은 행렬로 나타낼 수 있다•일반적인 예시는 다음과 같다 (다른 선형 변환도 있음)•길이 늘이기 / 줄이기•회전시키기•반전시키기•또한 이러한 선형 변환 (행렬)등을 곱해서 하나로 합칠 수 있다  ------------------------------** 아래그림)•어떠한 2차원 벡터가 있다고 하자.•우리는 ..

Q. 회귀 분석(에서 다중 공선성(Multicollinearity)의 개념과 이를 test방법은 무엇인가요 다중공선성: 독립변수들 사이에 큰 상관관계가 있다면 회귀분석이 불안정해짐     1. 다중 공선성은 회귀 모델에서 독립 변수들 간에 높은 상관관계가 있는 상태를 의미합니다.     2. 이는 회귀분석을 불안정하게 만들수 있다.      3. 이것을 해결하려면, 상관 행렬을 통해 높은 상관관계를 가진 독립변수들을 찾아내고,         둘중 하나를 제거하거나, PCA를 통해 하나로 합칠수 있다.  •예를 들어서, 집의 크기, 위치, 방의 개수 등은 독립 변수고•이를 통해서 집값 (종속 변수)를 예측하는 것입니다 집의 크기가 1평이 커질수록 집가격이 2천만원씩 커진다.지하철역까지 거리는 1km 늘어..

행렬의 랭크(Rank)의 정의 행렬의 랭크는, 선형독립적인 행(또는 열)의 갯수를 나타낸다. 정방행렬이 역행렬이 존재하는지를, 랭크를 통해 예측할수 있다.  :선형독립적인 열의 갯수 = 선형독립적인 행의 갯수 중요성•상대적으로 쉽게 이해할 수 있는 사용처는 행렬의 역행렬 계산이다•어떠한 N x N 크기의 정방행렬 A가 있다.•이때 정방행렬 A의 랭크가 N이 아니면, A의 역행렬은 존재하지 않는다.  선형 결합 - 각요소에 상수를 곱하고 더하는 식 벡터 x, y에 상수를 곱하고 더해서 z를 만들었다면, z는 x,y의 선행결합이다.    선형결합(linear combination)은 벡터 공간에서 두 개 이상의 벡터를 특정한 스칼라(상수)로 곱한 후 더한 결과입니다. 벡터들의 선형 결합은 스칼라의 가중치에 ..

Q. 확률론에서 베이즈 정리(Bayes' Theorem)의 기본 개념과 활용 예시에 대해 설 명해 주세요.  •주어진 사건의 조건 하에서 다른 사건의 확률을 계산하는 데 사용됩니다.•여러가지 용도가 있지만, 일반적으로 P(A|B)를 통해 P(B|A)를 추정할때 사용한다전제조건이 P(A), P(B)를 알아야된다.  아래그림) P(A|B) = P(A given B) = B가 주어진 조건에 A를 구하는 확률아래그림) 주사위 3이 나오면서 홀구인것은 1/6 •일반적으로, P(A|B)와 P(B|A)는 같지 않다  -> 다른거로 바꾸기 위해 사용한다.  •예시•코로나 검사 키트가 있다. 만약 실제 코로나에 걸린 사람이 이 키트를 사용하면, 90%의 확률로 양성이 나온다.•만약 어떤 사람이 이 검사를 해서 양성이 나..

확률변수의 조건부 확률 (Conditional Probability)과 독립성을 설명해주세요.  •조건부 확률이란, 어떠한 사건이 발생하였을때, 다른 사건의 확률을 나타낸 것•예를 들어, 사건 A가 발생했을 때 B가 일어날 확률은 P(B | A)•만약 A와 B가 서로 독립적이라면, A가 발생한 것은 B의 확률에 아무런 영향을 주지 않는다•따라서 P(B | A) = P(B)•독립적이지 않다면 A가 발생한것이 B의 확률에 영향을 준다. 결합확률: 여러사건이 동시에 발생할 확률 확률이란?•어떠한 사건의 가능성의 크기•확률이 크다면, 이 사건이 일어날 가능성이 크다 •반대의 경우도 성립 •확률을 계산하는 가장 직관적인 방법은, 특정 경우의수의 비율을 직접적으로 세는 것이다•주사위를 던져서 1이 나올 확률 •(1..

Q. 주성분 분석(Principal Component Analysis, PCA)의 개념과  원리에 대해 말씀해 주세요. •PCA는 데이터의 차원을 축소하여 주요 성분을 추출하는 기법입니다. •데이터의 분산을 최대화(원래 가까운데 가깝게, 먼데는 멀게 유지 하면서 차원줄임) 하는 방향으로 새로운 축을 정의하여, 데이터의 주요 변동을 보존하면서 차원을 줄입니다.아래그림분산 최대화 - 정보보존 최대화 가구원수와 집의 크기는 대체로 비례(큰상관계수)-> 하지만 둘중 하나를 삭제하면 정보의 손실위험 중복된 정보를 없앰으로서 보다 효율적인 학습가능 집크기, 집가격 -> 비례 되서 하나는 없애도 됨. -> 차원이 줄어듬.•2차원의 데이터를 1차원으로 나타낼 때, 가능한 많은 정보를 보존해야 함•정보를 보존한다?데이터..