코딩하는 해맑은 거북이

본 게시물의 내용은 '확률 및 통계(이상화 교수님)' 강의를 듣고 작성하였다. 1. Combinatorial Analysis : 순열, 조합 등 경우의 수를 구하는 것을 말한다. 1) Permutation (순열) => line arrangement(order) of n different objects : 서로 다른 n개를 순서를 고려하여 하나로 나열하는 것. * 0! = 1 : 아무것도 나열하지 않는 방법 1가지 => r out of n objects (n≥r) : n개 중에 r개를 뽑아서 나열하는 것. - Group Permutation \(n = n_1 + n_2 + ... + n_k\) ex) 총 10개의 공이 있다. 빨간공 5개, 흰공 3개, 파란공 2개가 있을 때, 나열하는 경우의 수는? \(..

본 게시물의 내용은 '확률 및 통계(이상화 교수님)' 강의를 듣고 작성하였다. 1) Sample Space → S(set) : output이 랜덤하게 나올때, 가능한 모든 전체 집합. 2) Event (A) → A⊂S : P(A) = probability (outcome ∈ A) : A가 발생할 확률, 정확하게는 특정하게 outcome을 뽑았을때 이것이 A에 포함될 확률 3) Conditional Probability (조건부확률) : P(B|A) : A라는 조건이 발생했을 때, B라는 Event가 발생했을 때의 확률 4) Total probability : \(P(A) = P(A_1) + P(A_2) + ... + P(A_n)\) A라는 사건이 발생할 확률을 구하는데, A라는 사건을 서로간에 중복이 되..

본 게시물의 내용은 '인공지능을 위한 선형대수(주재걸 교수님)' 강의를 듣고 작성하였다. 해당 글은 아래의 8가지를 다룬다. 1. 특이값 분해(Singular Value Decomposition) 2. 스펙트럴 정리(Spectral Theorem) 3. 대칭행렬(Symmetric Matrix) 4. Positive Definite Matrix 5. 주성분분석(Principal Component Analysis) 6. 그람행렬(Gram Matrix) 7. Low-Rank Approximation 8. Dimension-Reducing Transformation - 특이값 분해 Ⅰ - 특이값 분해(Singular Value Decomposition, SVD) : 직사각행렬 A를 대상으로 \(A=UΣV^T\)..

해당 글은 아래의 2가지를 다룬다. 1. 엔트로피(Entropy) 2. 크로스 엔트로피(Cross-Entropy) 1. 엔트로피(Entropy) 엔트로피는 불확실성의 척도 이다. 정보이론에서의 엔트로피는 불확실성을 나타내며 엔트로피가 높다는 것은 정보가 많고 확률이 낮다는 것을 의미한다. 예시 - 동전을 던졌을 때, 앞/뒷면이 나올 확률을 모두 1/2 라고 한다. - 주사위를 던졌을 때, 각 6면이 나올 확률을 모두 1/6 라고 한다. 위의 두 상황에서 불확실성은 주사위가 더 크다고 직관적으로 다가온다. (불확실성 = 어떤 데이터가 나올지 예측하기 어려운 것) 위의 수식으로 엔트로피 값을 계산해보면, 동전의 엔트로피 값 = 약 0.693 주사위의 엔트로피 값 = 1.79 여기서 주사위의 엔트로피 값이 더..

본 게시물의 내용은 '인공지능을 위한 선형대수(주재걸 교수님)' 강의를 듣고 작성하였다. 해당 글은 아래의 3가지를 다룬다. 1. 대각화(Diagonalization)와 대각화행렬(Diagonalizable matrix) 2. 고유값 분해(Eigendecomposition) 3. 대수 중복도와 기하 중복도(Algebraic multiplicity and geometric multiplicity) - 대각화 - 대각화(Diagonalization) 정사각행렬 A가 있을 때, 좌측에 A행렬과 같은 차원의 \(V^{-1}\), 우측에 \(V\)를 곱해서 대각행렬 D를 만드는 것이다. 양변에 \(V\)를 곱해서 \(VD=AV\)로 표현할 수 있다. 하지만, V의 역행렬이 존재해야지만 역으로 \(V^{-1}\)를..

해당 글은 Frequentist(빈도주의)와 Bayesian(베이지안)에 대해 다룬다. Check. Q. 베이지안과 프리퀀티스트 간의 입장차이를 설명해주실 수 있나요? 더보기 베이지안은 사건의 확률을 바라볼 때, 사전 확률을 미리 염두해두고 사건의 발생에 따라 베이즈 정리로 사후 확률을 구해 다시 사전 확률을 업데이트시킨다. 즉, 베이지안은 과거의 사건이 현재 사건에 영향을 끼친다는 입장을 가지고 있다. 반면, 프리퀀티스트는 확률을 무한번 실험한 결과, 객관적으로 발생하는 현상의 빈도수로 바라본다. 즉, 프리퀀티스트는 현재의 객관적인 확률에 의해서만 사건이 발생한다는 입장을 가지고 있다. Q. “likelihood”와 “probability”의 차이는 무엇일까요? 더보기 확률(Probability)은 어..