Always awake,

단순 선형 회귀(Simple Linear Regression) 에서 LSE 를 사용하여 추정한 추정치가 SSE 를 최소화 하는 추정치인지 증명하는 포스팅입니다 :) 서론 단순 선형 회귀(Simple Linear Regression) 식이 있습니다. $$y_i = \beta_0 + \beta_1 x_i + \epsilon_i $$ 선형 회귀 모델에서 가지고 있는 데이터($x_i$, $y_i$) 를 잘 설명하기 위해 사용하는 방법 중 가장 보편적인 것이 오차를 최소화 하는 것입니다. 오차의 제곱 합(SSE; Sum of Squared Error)을 최소화 하는 $\beta_0$, $\beta_1$ 의 추정치($\hat{\beta_0}$, $\hat{\beta_1}$)를 구하는 것이지요. $$ SSE = \s..

"본 포스팅에서는 최대 우도 추정법의 개념을 설명하고자 합니다" 통계학에서 중요한 것 중 하나가 샘플(표본)을 통해서 모집단(전체 집단)을 추정하는 것입니다. 이 때, 모집단의 분포를 가정하고 표본의 특성에 따라 모수(parameter)를 추정하게 됩니다. ▶ 모수는 분포의 특성(모양)을 나타내는 지표와 같은 것입니다. 같은 분포라도 모수가 다르면 모양이 다르게 나타납니다. 예를 들면 같은 정규분포라도 모수인 평균($\mu$), 분산($\sigma^2$)이 다르면 다른 형태가 나타납니다. 출처 : https://ko.wikipedia.org/wiki/%EC%A0%95%EA%B7%9C_%EB%B6%84%ED%8F%AC 모수를 추정할 때 가장 많이 사용하는 방법이 최대 우도 추정법입니다. 최대 우도 추정법은..