잔차의 성질 (단순 선형 회귀)
본 포스팅에서는 단순 선형 회귀의 잔차(오차의 추정량) 의 네 가지 성질에 대해 정리합니다.
단, 계수 추정 방식이 최소제곱법(Least Sqaure Estimation) 인 경우 잔차는 아래의 성질을 갖습니다.
단순 선형 회귀 계수 추정
아래와 같이 단순 선형 회귀 식이 있습니다
$$Y_i = \beta_0 + \beta_1 x_i + \epsilon_i$$
최소제곱법을 이용하여 추정한 $\hat{\beta_0}$ 와 $\hat{\beta_1}$ 은 아래와 같습니다
$$ \hat{\beta_1} = \frac{S_{xY}}{S_{xx}} = \frac{\sum_i^n{(x_i - \bar{x})(Y_i - \bar{Y})}}{\sum_i^n{(x_i - \bar{x})^2}} $$
$$ \hat{\beta_0} = \bar{Y} - \hat{\beta_1} \bar{x} $$
추정 값은 아래와 같습니다
$$\begin{align*} \hat{Y_i} &= \hat{\beta_0} + \hat{\beta_1} x_i \\&= (\bar{Y} - \hat{\beta_1} \bar{x}) + \hat{\beta_1} x_i \\&= \bar{Y} + \hat{\beta_1} (x_i - \bar{x}) \end{align*}$$
참고로 추정값을 보면 추정한 회귀 선의 중요한 성질을 알 수 있습니다. 위의 식에서 $x_i = \bar{x}$ 인 경우 $\hat{Y_i} = \bar{Y}$ 입니다.
즉, 추정한 회귀선은 $x_i$의 평균($\bar{x}$) 과 $Y_i$ 의 평균($\bar{Y})$ 를 지납니다.
잔차는 아래와 같습니다
$$\begin{align*} \hat{\epsilon_i} &= Y_i - \hat{Y_i} \\&= Y_i - [\bar{Y} + \hat{\beta_1} (x_i - \bar{x}) ] \\&= (Y_i - \bar{Y}) - \hat{\beta_1} (x_i - \bar{x}) \end{align*}$$
잔차의 성질
단순 선형 회귀에서 위와 같이 최소제곱법으로 계수를 추정하였을 때, 잔차는 아래의 네 가지 성질을 갖습니다.
$$\sum_i^n{\hat{\epsilon_i}} = 0 \tag{1}$$
$$\sum_i^n{\hat{\epsilon_i}x_i} = 0 \tag{2} $$
$$\sum_i^n{\hat{\epsilon_i}\hat{Y_i}} = 0 \tag{3} $$
$$\sum_i^n{\hat{\epsilon_i}Y_i} = \sum_i^n{{\hat{\epsilon_i}}^2} \tag{4}$$
1번 증명
$$\begin{align*} \sum_i^n{\hat{\epsilon_i}} &= \sum_i^n{[(Y_i - \bar{Y}) - \hat{\beta_1} (x_i - \bar{x})]} \\&= \sum_i^n{(Y_i - \bar{Y})} - \hat{\beta_1} \sum_i^n{(x_i - \bar{x})} \\&= 0 -\hat{\beta_1} 0 \\&= 0 \end{align*}$$
2번 증명
$$\begin{align*} \sum_i^n{\hat{\epsilon_i}x_i} &= \sum_i^n{[(Y_i - \bar{Y}) - \hat{\beta_1} (x_i - \bar{x})]x_i} \\&= \sum_i^n{(Y_i - \bar{Y})x_i} - \hat{\beta_1}\sum_i^n{(x_i - \bar{x})x_i} \\&= S_{xY} - \hat{\beta_1}S_{xx} \\&= S_{xY} - \frac{S_{xY}}{S_{xx}} S_{xx} \\&= 0 \end{align*}$$
3번 증명
$$\begin{align*} \sum_i^n{\hat{\epsilon_i}\hat{Y_i}} &= \sum_i^n{[\hat{\epsilon_i}[\bar{Y} + \hat{\beta_1} (x_i - \bar{x})]]} \\&= \bar{Y}\sum_i^n{\hat{\epsilon_i}} + \beta_1 \sum_i^n{\hat{\epsilon_i} x_i} - \bar{x} \sum_i^n{\hat{\epsilon_i}} \\&= 0 \end{align*} $$
1번 증명에 의해 1, 3 번째 항이 0이 되고, 2번 증명에 의해 2 번째 항이 0이 됩니다.
4번 증명
$$ \begin{align*} \sum_i^n{\hat{\epsilon_i}Y_i} &= \sum_i^n{\hat{\epsilon_i}(\hat{Y_i} + \hat{\epsilon_i})} \\&= \sum_i^n{\hat{\epsilon_i}\hat{Y_i}} + \sum_i^n{{\hat{\epsilon_i}}^2} \\&= \sum_i^n{{\hat{\epsilon_i}}^2} \end{align*} $$
3번 증명에 의해 1 번째 항이 0이 되므로 증명이 완료됩니다!
마치며
단순 선형 회귀 모형에서 잔차항의 네 가지 성질에 대해 알아보았습니다
다음 포스팅에서는 잔차의 4가지 성질을 기하학적으로 해석해보겠습니다
읽어주셔서 감사합니다 😉
▼ 글이 도움이 되셨다면 아래 클릭 한번 부탁드립니다 :) ▼