[선형대수학] 인공지능을 위한 선형대수 (8)

본 게시물의 내용은 '인공지능을 위한 선형대수(주재걸 교수님)' 강의를 듣고 작성하였다.

해당 글은 아래의 4가지를 다룬다.
1. 고유벡터와 고유값 (Eigenvectors and eigenvalues)
2. 영공간(Null Space)
3. 직교여공간(Orthogonal Complement)
4. 특성방정식(Characteristic Equation)

 

 

 

- 고유벡터와 고유값

- 고유벡터와 고유값(Eigenvectors and eigenvalues)

: 정사각행렬 A와 nonzero 벡터인 x가 Ax=λx (λ는 scalar)가 성립할 때,

x를 고유벡터라고 하고, λ를 고유값이라고 한다.

선형변환의 관점에서 보면, Ax=λx 는 방향은 그대로이고 크기만 바뀐다.

2x2 행렬 A와 2x1 벡터 x가 있을 때, Ax는 곱셉, 덧셈의 연산을 총 6번 진행한다.

Ax=λx 이므로 λx로 계산하면 곱셈의 연산을 총 2번 진행한다.

즉, 연산 계산이 6번에서 2번으로 줄었으므로 계산상에서 효율적이다.

Ax=λx는 (A-λI)x=0 으로 재표현 가능하다.

여기서 (A-λI)의 Column 벡터들이 선형종속이라면 고유벡터와 고유값이 존재한다.

 

 

 

- 영공간과 직교여공간

- 영공간(Null Space)

: 직사각행렬 A가 있고, Ax=0을 만족하는 모든 해의 집합을 영공간이라고 한다. Nul A라고 표현한다.

Ax=0이라는 것은 내적값이 0이여야 하므로, 행렬 A의 모든 row 벡터는 x와 orthogonal 하다는 것이다.

행렬 A의 Column 벡터들이 선형독립이면, Ax=0 의 해 x는 trivial solution인 0 밖에 없다.

- Null Space는 Subspace다.

왜? Ax=0, Ay=0 을 만족하는 해 x, y가 있다고 하자(x, y∈Nul A), 이때 ax+by∈Nul A 인지 확인하면 된다.

선형결합의 결과로 해석하면 A(ax+by)=0 이므로 subspace이다.

 

- Eigenspace는 (A-λI)x=0 의 Null Space이므로 basis vector들을 가진다.

 

- 직교여공간(Orthogonal Complement)

: subspace W와 orthogonal한 벡터들의 집합이다. 

* dimNulA  = 3 - dimRowA

(행렬 A의 Null Space의 차원 = 전체 공간의 차원 - 행렬 A의 row space의 차원)

A의 transpose는 ColA로 생각해서 똑같이 계산가능하다.

 

 

 

 

 

 

- 특성방정식

- 특성방정식(Characteristic Equation)

: 고유값을 찾을 수 있는 방법으로, det(A-λI)=0 의 식을 특성방정식이라 부른다.

det(A-λI)=0 이라는 것은 (A-λI)의 역행렬이 존재하지 않는다는 뜻이다.

(A-λI)가 역행렬이 존재하지 않는다는 것은 (A-λI)의 Column 벡터들이 선형종속이라는 뜻과 같다.

 

cf) 2x2 행렬에서 역행렬의 존재 여부는 determinant(det A = ad-bc)로 존재 여부를 확인한다. (det A=0이면 역행렬X)

- Eigenspace

: (A-λI)x=0 을 만족하는 Null Space이다. 

dimRowA가 1인 경우,  dimNulA  = 3 - dimRowA 의 식으로 dimNulA는 2이므로, 평면으로 표현된다.

그리고, Ax는 eigenspace에 상수배하여 방향은 변하지 않고 확장시키는 변환으로 생각할 수 있다.