Always awake,

본 포스팅은 조건부 기댓값에 대해 공부한 내용을 정리한 글입니다 :) 아래의 링크를 참고하였습니다 7.6 조건부기댓값과 예측 문제 — 데이터 사이언스 스쿨 .ipynb .pdf to have style consistency --> datascienceschool.net 조건부 확률 조건부 확률은 두 확률 변수 X,Y에 대해 하나의 확률 변수가 "주어졌을 때" 나머지 확률 변수가 나타날 확률을 의미합니다. $$p(Y|X) = \frac{p(Y \cap X)}{p(X)}$$ 예를 들어 이산 확률 변수 X,Y의 결합 확룔(joint distribution)이 아래와 같다고 합시다 X는 1,2,3의 값을 갖으며, Y = 1,2의 값을 갖을 수 있습니다. 그리고 가능한 모든 확률의 합은 1입니다 $Y$ $1$ $..

로지스틱 회귀에 대한 개념, 수식 관련 포스팅입니다 :) 통계수업에서 가장 먼저 배우는 회귀 모델은 단순 선형 회귀(Simple Linear Regression)입니다. 종속변수와 독립변수가 각각 하나씩 존재하고, 독립변수와 종속변수의 관계가 선형인 회귀 모델입니다. 해당 모델은 종속변수가 실수값을 가지는 형태이고 가장 기초적인 모델이지만, 머신러닝을 배우면서 분류(Classification)문제를 접하게되면 해당 모델을 사용할 수 없게 됩니다. 그 이유는 분류 모델에서 종속변수는 하나의 class를 나타내는 "범주형" 변수이기 때문입니다. 즉, 실수형 변수와 다르게 값의 크기와 방향이 존재하지 않는 변수인 것입니다. 이런 문제로 탄생한 분류 모델이 로지스틱 회귀(Logistic Regression)입니..

"본 포스팅에서는 최대 우도 추정법의 개념을 설명하고자 합니다" 통계학에서 중요한 것 중 하나가 샘플(표본)을 통해서 모집단(전체 집단)을 추정하는 것입니다. 이 때, 모집단의 분포를 가정하고 표본의 특성에 따라 모수(parameter)를 추정하게 됩니다. ▶ 모수는 분포의 특성(모양)을 나타내는 지표와 같은 것입니다. 같은 분포라도 모수가 다르면 모양이 다르게 나타납니다. 예를 들면 같은 정규분포라도 모수인 평균($\mu$), 분산($\sigma^2$)이 다르면 다른 형태가 나타납니다. 출처 : https://ko.wikipedia.org/wiki/%EC%A0%95%EA%B7%9C_%EB%B6%84%ED%8F%AC 모수를 추정할 때 가장 많이 사용하는 방법이 최대 우도 추정법입니다. 최대 우도 추정법은..

"본 포스팅은 카이제곱 분포의 모양을 개념적으로 확인하기 위한 포스팅입니다" 학부 때 통계 강의에서 이산확률 분포, 연속형 확률 분포를 배우며 아무렇지 않게 넘어갔던 분포의 모양에 갑자기 궁금해졌습니다. 특히, 일반적인 지수 분포, 정규분포 등은 수식을 통해서 모양을 이해할 수 있었지만 카이제곱 분포, F 분포 등은 추상적으로 분포의 모양을 이해했었습니다. 카이제곱 분포의 정의 i.i.d 한 (identically independent distributed) 한 k개의 표준 정규분포의 확률 변수를 제곱한 후 모두 더한 것은 자유도가 k인 카이제곱분포를 따른다. 모양은 아래와 같습니다. 출처 : http://blog.naver.com/PostView.nhn?blogId=mykepzzang&logNo=220..