회귀분석과 해의 존재성

 

 

본 포스팅의 모든 출처는 edwith의 고려대학교 주재걸 교수님의 "인공지능을 위한 선형대수" 강좌입니다

좋은 강의를 제공해주신 교수님께 감사드립니다 :)

인공지능을 위한 선형대수 강좌소개 : edwith

 

회귀분석에서 다음과 같은 문제를 푼다고 합시다

키, 몸무게, 흡연여부가 수명에 미치는 영향을 확인하고 싶은 것입니다. 이 때 우리가 풀 연립방정식은 아래와 같습니다

• $60x_1 + 5.5x_2 + 1x_3 = 66$
• $65x_1 + 5.0x_2 + 0x_3 = 74$
• $55x_1 + 6.0x_2 + 1x_3 = 78$

이를 아래와 같이 matrix와 vector로 표현할 수 있습니다

연립 방정식을 matrix 곱으로 표현할 수 있다

그리고 $A$의 컬럼 벡터(column vector)를 이용하여 아래와 같이 표현할 수 있습니다

이를 기하학적으로 해석하면,

$b$ 벡터를 만들기 위해 각 컬럼 벡터에($a_1, a_2, a_3$) 곱할 weight($x_1, x_2, x_3$)를 찾는 문제가 됩니다

 

해가 존재하는가?

그렇다면 해가 존재하는지 어떻게 확인할 수 있을까요?

그 전에 먼저 span이라는 개념에 대해 먼저 설명하고자 합니다 

 

벡터 $v_1, v_2$가 주어졌을 때 해당 벡터들의 선형 결합으로 만들 수 있는 벡터들의 집합을 span이라고 합니다.

$$Span\{v_1, v_2\}$$

아래와 같이 3차원 공간에서 $v_1, v_2$ 가 주어진 경우 해당 벡터들 각각에 가중치를 곱한 선형 결합으로 만들 수 있는 벡터들이 있을 것입니다.

이렇게 만들 수 있는 모든 벡터들의 집합을 Span이라고 하며 본 예시에서는 초록색으로 표시된 평면이 됩니다.

만약 $x$라는 벡터를 만들고 싶은 경우 $v_1, v_2$에 각각 2, 3씩 weight를 취하여 선형 결합하면 됩니다

Span{v_1, v_2}

그러면 다시 위의 문제로 돌아가서, 해가 존재한다는 것은 무슨 의미일까요?

바로, $a_1, a_2, a_3$와 $b$가 주어졌을 때, $Span\{a_1, a_2, a_3\}$에 $b$가 포함된다는 의미입니다. 

$$ b \in Span\{a_1, a_2, a_3\} $$ 

이 조건을 만족한다면, 우리는 아직 해($x_1, x_2, x_3$)가 정확히 무엇인지는 모르지만, 적어도 해를 가진다는 사실을 알 수 있습니다

 

해가 존재하지 않는 경우

해가 존재하지 않는 경우도 있습니다.  

예를 들어 위의 예제에서 $x_3$에 해당하는 변수(흡연 여부)가 존재하지 않는다고 해봅시다.

그런 경우 방정식은 다음과 같이 변합니다.

여기서 해가 존재하기 위해서는 마찬가지로 3차원 공간 안에서 $b \in Span\{a_1, a_2\}$인 경우입니다

하지만, 3차원 공간 내에서 $Span\{a_1, a_2\}$가 최대로 cover할 수 있는 범위는 하나의 평면이 될 것이고

3차원 상에 존재하는 하나의 점인 $b$가 해당 평면에 포함될 확률이 매우 낮을 것입니다(포함되는 경우도 있겠지만요. 이 예제에서는 포함되지 않는 경우입니다.)

 

이렇게 포함되지 않는 경우 아무리 $a_1, a_2$에 각각 weight를 부여하여 선형 결합하여도 $b$를 만들 수는 없을 것입니다.

이런 경우가 해가 존재하지 않는 경우입니다 

 

해가 존재하나 무한히 많은 경우

위에서 해가 존재하는 경우, 존재하지 않는 경우에 대해 살펴보았습니다.

그렇다면 해가 존재하는 경우에는 딱 하나의 해만 존재할까요? 그렇지 않습니다.

해가 존재하되 무한히 많은 해가 존재하는 경우가 있습니다

그 전에 필요한 개념이 선형 독립(linearly independent)과 선형 종속(linearly dependent)입니다

 

영벡터가 아닌 두 벡터 $v_1, v_2$가 있을 때,
$v_1$에 0이 아닌 상수항을 곱하여 $v_2$를 만들 수 있는 경우 두 벡터를 선형 종속이라고 합니다.

다시 말해서, 두 벡터의 "방향이 같은 경우"를 선형 종속이라고 합니다.

그 반대의 경우는 선형 독립입니다.

 

선형 종속인 벡터들을 선형 결합한 집합인 Span이 cover할 수 있는 공간은 제한적입니다.

• $v_1$ = [1,2,3], $v_2$ = [2,4,6] 이라고 할 때
• 두 벡터의 $Span\{v_1, v_2\}$을 보면
  • 벡터 두 개의 선형 결합이므로 하나의 평면이 나올 것으로 예상하지만
  • 실제로 두 벡터 간 선형 종속 관계($2v_1 = v_2$)이기 때문에 두 벡터의 Span은 하나의 선이 됩니다
  • 즉, $Span\{v_1, v_2\} = Span\{v_1\} = Span\{v_2\}$

예를 들어 아래의 문제를 푼다고 합시다

• $1x_1 + 3x_2 = 4$
• $2x_1 + 6x_2 = 8$

여기서 $a_1$ = [1,2], $a_2$ = [3,6], $b$ = [4,8]이 되겠죠 

$2a_1 = a_2$인 선형 종속 관계이므로 두 벡터의 $Span\{a_1, a_2\}$은 하나의 선이 될 것입니다. 

그리고, 해당 선에 $b$가 속하므로 "해는 존재하게 됩니다"

해가 존재하므로 해를 구해보면,

• $a_1 x_1 + a_2 x_2 = b$ 
• $a_1 x_1 + 2a_1 x_2 = (x_1 + 2x_2) a_1 = b$
• $x_1 + 2x_2 = 4$ 인 $x_1, x_2$가 해가 됩니다 (해가 무수히 많음)

이렇듯 해가 존재하지만(컬럼 벡터들의 Span에 b가 포함), 컬럼 벡터 간 선형 종속 관계가 있는 경우 해가 무한히 많이 존재하게 됩니다.

 

General Form

마치며

고등학교 때 배운 연립방정식에서의 해의 존재 여부를 기하학적으로 이해하니 새롭네요

다음은 Least Square에 대해 포스팅을 진행하겠습니다

 

▼ 글이 도움이 되셨다면 아래 클릭 한번 부탁드립니다 :) ▼