[선형대수학] 인공지능을 위한 선형대수 (9)

본 게시물의 내용은 '인공지능을 위한 선형대수(주재걸 교수님)' 강의를 듣고 작성하였다.

해당 글은 아래의 3가지를 다룬다.
1. 대각화(Diagonalization)와 대각화행렬(Diagonalizable matrix)
2. 고유값 분해(Eigendecomposition)
3. 대수 중복도와 기하 중복도(Algebraic multiplicity and geometric multiplicity)

 

 

 

- 대각화

- 대각화(Diagonalization)

정사각행렬 A가 있을 때, 좌측에 A행렬과 같은 차원의 \(V^{-1}\), 우측에 \(V\)를 곱해서 대각행렬 D를 만드는 것이다.

양변에 \(V\)를 곱해서 \(VD=AV\)로 표현할 수 있다.

하지만, V의 역행렬이 존재해야지만 역으로 \(V^{-1}\)를 곱해서 되돌릴 수 있다.

AV=VD는 \([Av_1  Av_2 ... Av_n] = [λ_1v_1   λ_2v_2 ... λ_nv_n]\) 으로 표현 가능하다.

\(v_1  v_2 ... v_n\)는 고유벡터이고, \(λ_1  λ_2 ... λ_n\)는 고유값이다.

V 행렬이 A와 같은 차원의 정사각행렬이고, 역행렬이 존재한다는 것은 V 행렬의 Column 벡터들이 선형독립이라는 것이다.

- 그럼 항상 선형독립인 고유벡터를 어떤 행렬이든 찾을 수 있을까? (X)

: 항상 그렇지는 않다. 고유벡터가 총 3차원보다 모자란 차원을 줄 수도 있기 때문이다.

 

 

 

- 고유값 분해와 선형변환

- 고유값 분해(Eigendecomposition)

: A를 대각화가능하다면, \(D=V^{-1}AV\)를 구할 수 있다. 이 대각행렬을 통해  \(A=VDV^{-1}\)를 구하는 것을 고유값분해라고 한다.

행렬 A가 diagonalizable하면, 이를 고유값분해 할 수 있다.

고유값분해는 선형변환을 통해 진행한다. ( \(T(x) = Ax = VDV^{-1}x = V(D(V^{-1}x))\) )

 

아래는 \(V(D(V^{-1}x))\)를 하나씩 푸는 과정이다.

 

\(A^kx\)를 계산할 때, A를 재귀적으로 곱하는 방법을 고려할 수 있다.

근데, 행렬 A가 대각화 가능하다면, A는 고유값분해를 가질 수 있다.

\(A^kx = A × A × ... × Ax \) --> \(VD^kV^{-1}\) 로 연산을 빠르게 할 수 있다. 

- 대수 중복도와 기하 중복도(Algebraic multiplicity and geometric multiplicity)

: 고유값이 다르면 이들의 Eigenspace는 선형독립한다. 즉, 겹치는게 없다. 예시로 총 5개의 근이 나와야 하는 상황에서 실수근 5개가 나오지 않는다면 n개의 선형독립인 고유벡터도 나오지 않는다.

 

- 특이케이스로, 총 5개의 근이 나와야 하는 상황에서 중근이 하나도 없다면, 각각의 Eigenspace가 나오고 이들이 선형독립이다.