Always awake,

본 포스팅은 수치 미분에 대해 공부하고 코드를 구현하며 나름대로 정리한 글입니다. 수치 미분(Numerical Difference) 란 미분의 근사치를 구하는 방법입니다. 미분 정의 함수 $f(x)$ 에 대한 $x$ 의 미분값은 특정 값에서의 순간 변화량(기울기) 로 표현됩니다. 함수 $f(x)$ 수식을 알고 있는 경우 미분 함수 $f'(x)$ 의 수식을 구할 수 있으니 미분 값을 구할 수 있습니다. $$ f'(x) = lim_{\epsilon \rightarrow 0}\frac{f(x+\frac{\epsilon}{2}) - f(x-\frac{\epsilon}{2})}{\epsilon}$$ 예를 들어 아래와 같은 함수가 있으면 $$f(x) = x^3 + x^2 + 1$$ 1차 미분 함수는 아래와 같이 전..

본 포스팅에서는 이전 포스팅(잔차의 성질 (단순 선형 회귀)) 에서 다룬 잔차의 4가지 성질을 기하학적으로 이해해보는 내용을 작성하겠습니다 이전 포스팅과 마찬가지로 단순 선형 회귀에서 최소제곱법으로 계수를 추정하였을 때의 잔차의 성질에 대해 기술합니다. 단순 선형 회귀의 기하학적 이해 우선 단순 선형 회귀는 아래와 같습니다 $$ Y_i = \beta_0 + \beta_1 x_i + \epsilon_i \ \ \ for \ i=1,2, ... , n$$ $$ Y_1 = \beta_0 + \beta_1 x_1 + \epsilon_1 \\ Y_2 = \beta_0 + \beta_1 x_2 + \epsilon_2 \\ ... \\ Y_n = \beta_0 + \beta_1 x_n + \epsilon_n$$ 이는..

본 포스팅에서는 단순 선형 회귀의 잔차(오차의 추정량) 의 네 가지 성질에 대해 정리합니다. 단, 계수 추정 방식이 최소제곱법(Least Sqaure Estimation) 인 경우 잔차는 아래의 성질을 갖습니다. 단순 선형 회귀 계수 추정 아래와 같이 단순 선형 회귀 식이 있습니다 $$Y_i = \beta_0 + \beta_1 x_i + \epsilon_i$$ 최소제곱법을 이용하여 추정한 $\hat{\beta_0}$ 와 $\hat{\beta_1}$ 은 아래와 같습니다 $$ \hat{\beta_1} = \frac{S_{xY}}{S_{xx}} = \frac{\sum_i^n{(x_i - \bar{x})(Y_i - \bar{Y})}}{\sum_i^n{(x_i - \bar{x})^2}} $$ $$ \hat{\be..

단순 선형 회귀(Simple Linear Regression) 에서 LSE 를 사용하여 추정한 추정치가 SSE 를 최소화 하는 추정치인지 증명하는 포스팅입니다 :) 서론 단순 선형 회귀(Simple Linear Regression) 식이 있습니다. $$y_i = \beta_0 + \beta_1 x_i + \epsilon_i $$ 선형 회귀 모델에서 가지고 있는 데이터($x_i$, $y_i$) 를 잘 설명하기 위해 사용하는 방법 중 가장 보편적인 것이 오차를 최소화 하는 것입니다. 오차의 제곱 합(SSE; Sum of Squared Error)을 최소화 하는 $\beta_0$, $\beta_1$ 의 추정치($\hat{\beta_0}$, $\hat{\beta_1}$)를 구하는 것이지요. $$ SSE = \s..

선형대수를 공부하다보면 행렬 곱을 다양한 관점으로 해석하여 기하학적으로 이해하는 부분이 많습니다. 그래서 본 포스팅에서는 행렬 곱을 바라보는 관점을 정리하고, 어떤 경우에 해당 관점으로 보는지 정리해보았습니다 :) 이해의 용이성을 위해 3*3 정사각행렬의 곱으로 이야기를 진행하겠습니다 $$ A B = C $$ notation 규칙인 다음과 같이 하겠습니다 $\vec{r}$은 행 벡터를 의미하고, $\vec{c}$는 열 벡터를 의미합니다 각 벡터의 아랫 첨자는 두 개의 문자의 조합이며, 첫 번째 문자는 행렬을 의미하고 두 번째 문자는 인덱스를 의미합니다 $\vec{r}_{A2}$는 $A$ 행렬의 2번째 행 벡터를 의미합니다 1. 요소 관점 - 행 벡터와 열 벡터의 내적 가장 기본적인 방법은 $A$의 행 벡..

"현재 인과추론 패키지 개발 업무 중 거리 기반 매칭 기능을 조사하며 얻은 지식을 정리하였습니다 :) 마할라노비스 거리를 구하는 방법에 대해 기술합니다" 마할라노비스 거리 $n$개의 샘플이 있고, 각 샘플은 $k$차원 공간(feature의 수)의 벡터로 표현된다고 합시다 그리고 임의의 두 개의 샘플에 대한 $1 \times k$ 형태의 행 벡터가 $\vec{v} = (v_1, v_2, ..., v_{k-1}, v_k)$과 $\vec{u} = (u_1, u_2, ..., u_{k-1}, u_k)$일 때 마할라노비스 거리의 정의는 아래와 같습니다 $$ mahalanobis(\vec{v}, \vec{u}) = \sqrt{(\vec{v} - \vec{u}) {\sum}^{-1} (\vec{v} - \vec{u}..