Always awake,

본 포스팅에서는 이전 포스팅(잔차의 성질 (단순 선형 회귀)) 에서 다룬 잔차의 4가지 성질을 기하학적으로 이해해보는 내용을 작성하겠습니다 이전 포스팅과 마찬가지로 단순 선형 회귀에서 최소제곱법으로 계수를 추정하였을 때의 잔차의 성질에 대해 기술합니다. 단순 선형 회귀의 기하학적 이해 우선 단순 선형 회귀는 아래와 같습니다 $$ Y_i = \beta_0 + \beta_1 x_i + \epsilon_i \ \ \ for \ i=1,2, ... , n$$ $$ Y_1 = \beta_0 + \beta_1 x_1 + \epsilon_1 \\ Y_2 = \beta_0 + \beta_1 x_2 + \epsilon_2 \\ ... \\ Y_n = \beta_0 + \beta_1 x_n + \epsilon_n$$ 이는..

본 포스팅에서는 단순 선형 회귀의 잔차(오차의 추정량) 의 네 가지 성질에 대해 정리합니다. 단, 계수 추정 방식이 최소제곱법(Least Sqaure Estimation) 인 경우 잔차는 아래의 성질을 갖습니다. 단순 선형 회귀 계수 추정 아래와 같이 단순 선형 회귀 식이 있습니다 $$Y_i = \beta_0 + \beta_1 x_i + \epsilon_i$$ 최소제곱법을 이용하여 추정한 $\hat{\beta_0}$ 와 $\hat{\beta_1}$ 은 아래와 같습니다 $$ \hat{\beta_1} = \frac{S_{xY}}{S_{xx}} = \frac{\sum_i^n{(x_i - \bar{x})(Y_i - \bar{Y})}}{\sum_i^n{(x_i - \bar{x})^2}} $$ $$ \hat{\be..

단순 선형 회귀(Simple Linear Regression) 에서 LSE 를 사용하여 추정한 추정치가 SSE 를 최소화 하는 추정치인지 증명하는 포스팅입니다 :) 서론 단순 선형 회귀(Simple Linear Regression) 식이 있습니다. $$y_i = \beta_0 + \beta_1 x_i + \epsilon_i $$ 선형 회귀 모델에서 가지고 있는 데이터($x_i$, $y_i$) 를 잘 설명하기 위해 사용하는 방법 중 가장 보편적인 것이 오차를 최소화 하는 것입니다. 오차의 제곱 합(SSE; Sum of Squared Error)을 최소화 하는 $\beta_0$, $\beta_1$ 의 추정치($\hat{\beta_0}$, $\hat{\beta_1}$)를 구하는 것이지요. $$ SSE = \s..