[선형대수학] 인공지능을 위한 선형대수 (4)

본 게시물의 내용은 '인공지능을 위한 선형대수(주재걸 교수님)' 강의를 듣고 작성하였다.

해당 글은 아래의 3가지를 다룬다.
1. 선형변환 with Neural Networks
2. 전사함수(Onto, Surjective)
3. 일대일함수(One-to-one, Injective)

 

 

- 선형변환 with Neural Networks

- 선형변환은 기하학적으로 좌표계에서 왜곡(distortion)을 가하는 짓으로 해석 가능하다.

(이미지에서 선형변환에 의해 기울어지고, non-linear unit에 의해 구부러지는 모습을 확인할 수 있다)

- Affine Transformation(아핀 변환)

Neural Networks에서는 Bias term가 있기 때문에 선형변환이 아니게 된다. 이를 Affine Transformation라고 부른다.

- 더해진 Bias를 Bias Trick을 사용해서(행렬에 상수벡터포함) 차원을 하나 더 늘려 선형변환으로 만들 수 있다. 

 

 

- 전사함수와 일대일함수

- ONTO (전사함수)

: 정의역의 원소갯수가 공역의 원소갯수보다 많다는 가정하에, 공역과 치역이 같은 상태를 ONTO라고 한다.

- 3차원에서 2차원으로의 변환에서는 ONTO가 될 가능성이 높지만, 2차원에서 3차원으로의 변환에서는 ONTO가 될 수 없다.

- ONE-TO-ONE (일대일 함수)

: 일대일 함수를 의미하며, ONTO일 필요는 없다. 즉, 공역중에 매핑이 되지 않는 것이 있어도 된다.

하지만, 정의역이 중복된 치역을 가져서는 안된다. -> 선형독립인 경우와 동치가 됨.