코딩하는 해맑은 거북이

본 게시물의 내용은 '인공지능을 위한 선형대수(주재걸 교수님)' 강의를 듣고 작성하였다. 해당 글은 아래의 8가지를 다룬다. 1. 특이값 분해(Singular Value Decomposition) 2. 스펙트럴 정리(Spectral Theorem) 3. 대칭행렬(Symmetric Matrix) 4. Positive Definite Matrix 5. 주성분분석(Principal Component Analysis) 6. 그람행렬(Gram Matrix) 7. Low-Rank Approximation 8. Dimension-Reducing Transformation - 특이값 분해 Ⅰ - 특이값 분해(Singular Value Decomposition, SVD) : 직사각행렬 A를 대상으로 \(A=UΣV^T\)..

본 게시물의 내용은 '인공지능을 위한 선형대수(주재걸 교수님)' 강의를 듣고 작성하였다. 해당 글은 아래의 3가지를 다룬다. 1. 대각화(Diagonalization)와 대각화행렬(Diagonalizable matrix) 2. 고유값 분해(Eigendecomposition) 3. 대수 중복도와 기하 중복도(Algebraic multiplicity and geometric multiplicity) - 대각화 - 대각화(Diagonalization) 정사각행렬 A가 있을 때, 좌측에 A행렬과 같은 차원의 \(V^{-1}\), 우측에 \(V\)를 곱해서 대각행렬 D를 만드는 것이다. 양변에 \(V\)를 곱해서 \(VD=AV\)로 표현할 수 있다. 하지만, V의 역행렬이 존재해야지만 역으로 \(V^{-1}\)를..

본 게시물의 내용은 '인공지능을 위한 선형대수(주재걸 교수님)' 강의를 듣고 작성하였다. 해당 글은 아래의 4가지를 다룬다. 1. 고유벡터와 고유값 (Eigenvectors and eigenvalues) 2. 영공간(Null Space) 3. 직교여공간(Orthogonal Complement) 4. 특성방정식(Characteristic Equation) - 고유벡터와 고유값 - 고유벡터와 고유값(Eigenvectors and eigenvalues) : 정사각행렬 A와 nonzero 벡터인 x가 Ax=λx (λ는 scalar)가 성립할 때, x를 고유벡터라고 하고, λ를 고유값이라고 한다. 선형변환의 관점에서 보면, Ax=λx 는 방향은 그대로이고 크기만 바뀐다. 2x2 행렬 A와 2x1 벡터 x가 있을 ..

본 게시물의 내용은 '인공지능을 위한 선형대수(주재걸 교수님)' 강의를 듣고 작성하였다. 해당 글은 아래의 2가지를 다룬다. 1. 그람-슈미트 직교화(Gram-Schmidt Orthogonalization) 2. QR분해(QR Factorization) - 그람-슈미트 직교화 - 그람-슈미트 직교화(Gram-Schmidt Orthogonalization) : 수직이 아닌 선형독립한 2개의 벡터를 orthogonal basis 벡터로 만드는 것. (지난 게시글에서 언급한 정사영(Orthogonal Projection)을 통해 구한다.) 수직이 아닌 선형독립한 2개의 벡터(v1, v2)를 orthogonal basis 벡터(u1, u2)로 만드는 예시를 진행해보았다. 첫번째 column 벡터인 u1은 v1을..

본 게시물의 내용은 '인공지능을 위한 선형대수(주재걸 교수님)' 강의를 듣고 작성하였다. 해당 글은 아래의 3가지를 다룬다. 1. Orthogonality와 Orthonormality 2. 직교기저(Orthogonal Basis)와 정규직교기저(Orthonormal Basis) 3. 정사영(Orthogonal Projection) - Orthogonal Projection Ⅰ - Orthogonal Projection(정사영) : '수직으로 투영된 그림자'를 말한다. 이때 내려진 수선의 발이 행렬과 주어진 입력벡터의 곱으로 나타남으로 선형변환이다. - orthogonal set : 집합 내의 모든 벡터들이 서로 수직인 벡터의 집합이다. - orthonormal set : orthogonal set에서 길..

본 게시물의 내용은 '인공지능을 위한 선형대수(주재걸 교수님)' 강의를 듣고 작성하였다. 해당 글은 아래의 6가지를 다룬다. 1. 내적(Inner Product, Dot Product) 2. 벡터의 길이(Vector Norm) 3. 단위벡터(Unit Vector) 4. 직교벡터(Orthogonal Vectors) 5. Over-Determined System 6. 최소제곱법(Least Squares) 7. 정규방정식(Normal Equation) - Least Squares Problem 소개 - Over-determined Linear Systems : 방정식의 갯수가 변수의 갯수보다 많을 때(m>n)를 의미한다. 이런 경우 보통 해가 존재하지 않는다. cf) m=n 일때는 determined, m= ..