일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | 5 | ||
6 | 7 | 8 | 9 | 10 | 11 | 12 |
13 | 14 | 15 | 16 | 17 | 18 | 19 |
20 | 21 | 22 | 23 | 24 | 25 | 26 |
27 | 28 | 29 | 30 |
- Sharp RD
- LU분해
- 통계
- causal inference
- OVB
- residuals
- 최소제곱법
- simple linear regression
- 단순선형회귀
- 사영
- 네이버 뉴스
- 교란변수
- 크롤링
- 예제
- confounder
- 선형대수
- rct
- 잔차의 성질
- 머신러닝
- Omitted Variable Bias
- 회귀불연속설계
- Python
- 인과 추론
- 인과추론
- Instrumental Variable
- HTML
- backdoor adjustment
- least square estimation
- 누락편의
- 교란 변수
- Today
- Total
Always awake,
잔차의 성질 (단순 선형 회귀) 본문
본 포스팅에서는 단순 선형 회귀의 잔차(오차의 추정량) 의 네 가지 성질에 대해 정리합니다.
단, 계수 추정 방식이 최소제곱법(Least Sqaure Estimation) 인 경우 잔차는 아래의 성질을 갖습니다.
단순 선형 회귀 계수 추정
아래와 같이 단순 선형 회귀 식이 있습니다
Yi=β0+β1xi+ϵi
최소제곱법을 이용하여 추정한 ^β0 와 ^β1 은 아래와 같습니다
^β1=SxYSxx=∑ni(xi−ˉx)(Yi−ˉY)∑ni(xi−ˉx)2
^β0=ˉY−^β1ˉx
추정 값은 아래와 같습니다
^Yi=^β0+^β1xi=(ˉY−^β1ˉx)+^β1xi=ˉY+^β1(xi−ˉx)
참고로 추정값을 보면 추정한 회귀 선의 중요한 성질을 알 수 있습니다. 위의 식에서 xi=ˉx 인 경우 ^Yi=ˉY 입니다.
즉, 추정한 회귀선은 xi의 평균(ˉx) 과 Yi 의 평균(ˉY) 를 지납니다.
잔차는 아래와 같습니다
^ϵi=Yi−^Yi=Yi−[ˉY+^β1(xi−ˉx)]=(Yi−ˉY)−^β1(xi−ˉx)
잔차의 성질
단순 선형 회귀에서 위와 같이 최소제곱법으로 계수를 추정하였을 때, 잔차는 아래의 네 가지 성질을 갖습니다.
n∑i^ϵi=0
n∑i^ϵixi=0
n∑i^ϵi^Yi=0
n∑i^ϵiYi=n∑i^ϵi2
1번 증명
n∑i^ϵi=n∑i[(Yi−ˉY)−^β1(xi−ˉx)]=n∑i(Yi−ˉY)−^β1n∑i(xi−ˉx)=0−^β10=0
2번 증명
n∑i^ϵixi=n∑i[(Yi−ˉY)−^β1(xi−ˉx)]xi=n∑i(Yi−ˉY)xi−^β1n∑i(xi−ˉx)xi=SxY−^β1Sxx=SxY−SxYSxxSxx=0
3번 증명
n∑i^ϵi^Yi=n∑i[^ϵi[ˉY+^β1(xi−ˉx)]]=ˉYn∑i^ϵi+β1n∑i^ϵixi−ˉxn∑i^ϵi=0
1번 증명에 의해 1, 3 번째 항이 0이 되고, 2번 증명에 의해 2 번째 항이 0이 됩니다.
4번 증명
n∑i^ϵiYi=n∑i^ϵi(^Yi+^ϵi)=n∑i^ϵi^Yi+n∑i^ϵi2=n∑i^ϵi2
3번 증명에 의해 1 번째 항이 0이 되므로 증명이 완료됩니다!
마치며
단순 선형 회귀 모형에서 잔차항의 네 가지 성질에 대해 알아보았습니다
다음 포스팅에서는 잔차의 4가지 성질을 기하학적으로 해석해보겠습니다
읽어주셔서 감사합니다 😉
▼ 글이 도움이 되셨다면 아래 클릭 한번 부탁드립니다 :) ▼
'통계' 카테고리의 다른 글
잔차의 성질 #기하편 (단순 선형 회귀) (0) | 2023.05.29 |
---|---|
MSE를 최소화 하는 추정량 (단순 선형 회귀) (0) | 2023.05.13 |
조건부 확률과 기댓값 (0) | 2021.12.26 |
신뢰성 분석 (1) | 2021.10.11 |
로지스틱 회귀(Logistic Regression) (3) | 2021.10.10 |