Always awake,

"개인적으로 트랜스포머를 행렬 연산으로 이해하기 위해 작성한 포스트입니다" 트랜스포머를 공부하다 보면 개념적으로는 이해가 되는데, 아래 내용들이 머릿 속에서 잘 그려지지 않아 이해해보려 합니다!전체 흐름이 어떻게 되는지각 연산(Layer)마다 Tensor 형태가 어떻게 변하는지 (Input, Output)행렬 연산으로는 어떻게 처리되는지본 글에서는 Transformer 의 구조, 개념, 각 층의 상세한 수식 및 의미는 아래 첨부한 글에 나와 있어 생략하고,행렬 연산을 통해 Tensor 의 형태가 어떻게 변해가는지 위주로 작성하였습니다!Transformer 구조출처: https://wikidocs.net/217018그래도 Transformer 구조는 간단하게나마 알아야 하기에 잠깐 설명하겠습니다! Tran..

본 포스팅은 수치 미분에 대해 공부하고 코드를 구현하며 나름대로 정리한 글입니다. 수치 미분(Numerical Difference) 란 미분의 근사치를 구하는 방법입니다. 미분 정의 함수 $f(x)$ 에 대한 $x$ 의 미분값은 특정 값에서의 순간 변화량(기울기) 로 표현됩니다. 함수 $f(x)$ 수식을 알고 있는 경우 미분 함수 $f'(x)$ 의 수식을 구할 수 있으니 미분 값을 구할 수 있습니다. $$ f'(x) = lim_{\epsilon \rightarrow 0}\frac{f(x+\frac{\epsilon}{2}) - f(x-\frac{\epsilon}{2})}{\epsilon}$$ 예를 들어 아래와 같은 함수가 있으면 $$f(x) = x^3 + x^2 + 1$$ 1차 미분 함수는 아래와 같이 전..

본 포스팅에서는 이전 포스팅(잔차의 성질 (단순 선형 회귀)) 에서 다룬 잔차의 4가지 성질을 기하학적으로 이해해보는 내용을 작성하겠습니다 이전 포스팅과 마찬가지로 단순 선형 회귀에서 최소제곱법으로 계수를 추정하였을 때의 잔차의 성질에 대해 기술합니다. 단순 선형 회귀의 기하학적 이해 우선 단순 선형 회귀는 아래와 같습니다 $$ Y_i = \beta_0 + \beta_1 x_i + \epsilon_i \ \ \ for \ i=1,2, ... , n$$ $$ Y_1 = \beta_0 + \beta_1 x_1 + \epsilon_1 \\ Y_2 = \beta_0 + \beta_1 x_2 + \epsilon_2 \\ ... \\ Y_n = \beta_0 + \beta_1 x_n + \epsilon_n$$ 이는..

본 포스팅에서는 단순 선형 회귀의 잔차(오차의 추정량) 의 네 가지 성질에 대해 정리합니다. 단, 계수 추정 방식이 최소제곱법(Least Sqaure Estimation) 인 경우 잔차는 아래의 성질을 갖습니다. 단순 선형 회귀 계수 추정 아래와 같이 단순 선형 회귀 식이 있습니다 $$Y_i = \beta_0 + \beta_1 x_i + \epsilon_i$$ 최소제곱법을 이용하여 추정한 $\hat{\beta_0}$ 와 $\hat{\beta_1}$ 은 아래와 같습니다 $$ \hat{\beta_1} = \frac{S_{xY}}{S_{xx}} = \frac{\sum_i^n{(x_i - \bar{x})(Y_i - \bar{Y})}}{\sum_i^n{(x_i - \bar{x})^2}} $$ $$ \hat{\be..

단순 선형 회귀(Simple Linear Regression) 에서 LSE 를 사용하여 추정한 추정치가 SSE 를 최소화 하는 추정치인지 증명하는 포스팅입니다 :) 서론 단순 선형 회귀(Simple Linear Regression) 식이 있습니다. $$y_i = \beta_0 + \beta_1 x_i + \epsilon_i $$ 선형 회귀 모델에서 가지고 있는 데이터($x_i$, $y_i$) 를 잘 설명하기 위해 사용하는 방법 중 가장 보편적인 것이 오차를 최소화 하는 것입니다. 오차의 제곱 합(SSE; Sum of Squared Error)을 최소화 하는 $\beta_0$, $\beta_1$ 의 추정치($\hat{\beta_0}$, $\hat{\beta_1}$)를 구하는 것이지요. $$ SSE = \s..

선형대수를 공부하다보면 행렬 곱을 다양한 관점으로 해석하여 기하학적으로 이해하는 부분이 많습니다. 그래서 본 포스팅에서는 행렬 곱을 바라보는 관점을 정리하고, 어떤 경우에 해당 관점으로 보는지 정리해보았습니다 :) 이해의 용이성을 위해 3*3 정사각행렬의 곱으로 이야기를 진행하겠습니다 $$ A B = C $$ notation 규칙인 다음과 같이 하겠습니다 $\vec{r}$은 행 벡터를 의미하고, $\vec{c}$는 열 벡터를 의미합니다 각 벡터의 아랫 첨자는 두 개의 문자의 조합이며, 첫 번째 문자는 행렬을 의미하고 두 번째 문자는 인덱스를 의미합니다 $\vec{r}_{A2}$는 $A$ 행렬의 2번째 행 벡터를 의미합니다 1. 요소 관점 - 행 벡터와 열 벡터의 내적 가장 기본적인 방법은 $A$의 행 벡..