Always awake,

잔차의 성질 (단순 선형 회귀) 본문

통계

잔차의 성질 (단순 선형 회귀)

호재 P.B 2023. 5. 28. 16:55

본 포스팅에서는 단순 선형 회귀의 잔차(오차의 추정량) 의 네 가지 성질에 대해 정리합니다.

단, 계수 추정 방식이 최소제곱법(Least Sqaure Estimation) 인 경우 잔차는 아래의 성질을 갖습니다.

 

단순 선형 회귀 계수 추정

아래와 같이 단순 선형 회귀 식이 있습니다

Yi=β0+β1xi+ϵi

최소제곱법을 이용하여 추정한 ^β0^β1 은 아래와 같습니다

^β1=SxYSxx=ni(xiˉx)(YiˉY)ni(xiˉx)2

^β0=ˉY^β1ˉx

 

추정 값은 아래와 같습니다

^Yi=^β0+^β1xi=(ˉY^β1ˉx)+^β1xi=ˉY+^β1(xiˉx)

 

참고로 추정값을 보면 추정한 회귀 선의 중요한 성질을 알 수 있습니다. 위의 식에서 xi=ˉx 인 경우 ^Yi=ˉY 입니다.

즉, 추정한 회귀선은 xi의 평균(ˉx) 과 Yi 의 평균(ˉY) 를 지납니다

 

잔차는 아래와 같습니다

^ϵi=Yi^Yi=Yi[ˉY+^β1(xiˉx)]=(YiˉY)^β1(xiˉx)

 

잔차의 성질

단순 선형 회귀에서 위와 같이 최소제곱법으로 계수를 추정하였을 때, 잔차는 아래의 네 가지 성질을 갖습니다.

 

ni^ϵi=0

ni^ϵixi=0

ni^ϵi^Yi=0

ni^ϵiYi=ni^ϵi2

 

1번 증명

ni^ϵi=ni[(YiˉY)^β1(xiˉx)]=ni(YiˉY)^β1ni(xiˉx)=0^β10=0

 

2번 증명

ni^ϵixi=ni[(YiˉY)^β1(xiˉx)]xi=ni(YiˉY)xi^β1ni(xiˉx)xi=SxY^β1Sxx=SxYSxYSxxSxx=0   

 

3번 증명

ni^ϵi^Yi=ni[^ϵi[ˉY+^β1(xiˉx)]]=ˉYni^ϵi+β1ni^ϵixiˉxni^ϵi=0

 

1번 증명에 의해 1, 3 번째 항이 0이 되고, 2번 증명에 의해 2 번째 항이 0이 됩니다.

 

4번 증명

ni^ϵiYi=ni^ϵi(^Yi+^ϵi)=ni^ϵi^Yi+ni^ϵi2=ni^ϵi2

 

3번 증명에 의해 1 번째 항이 0이 되므로 증명이 완료됩니다!

 

마치며

단순 선형 회귀 모형에서 잔차항의 네 가지 성질에 대해 알아보았습니다

다음 포스팅에서는 잔차의 4가지 성질을 기하학적으로 해석해보겠습니다 

읽어주셔서 감사합니다 😉

 

 

글이 도움이 되셨다면 아래 클릭 한번 부탁드립니다 :)

반응형