Math for Deep Learning
7강 - 벡터의 선형독립과 기저벡터
7강 - 벡터의 선형독립과 기저벡터 7.1 Finding the solution of Ax = b (≠0) 위의 경우, 상수항이 0이 아니다. 예전 방식과 같이 행 사다리꼴로 만들어 준 뒤, 기약 행 사다리꼴 형식으로 바꿔준다. 처음으로 1이 등장하는 위치를 pivot이라 하며, 그 위치에 해당하는 변수를pivot variable, 그 외의 변수를 free variable이라 한다. pivot variable을 free variable로 나타내 준다. 벡터 형식으로 표현하면 위와 같다. 이때, 상수항이 붙어 있는 벡터를 special solution이라 하며, 상수항이 없는 벡터를 particular solution이라 한다. 그리고 special solution는 행렬A의 영공간의 기저벡터이다.즉, X..
6강 - 영벡터공간과 해집합
6강 - 영벡터공간과 해집합 6.1 영벡터공간 Ax = 0 을 만족시키는 x들의 집합을 영벡터공간이라 한다Ax1 = 0 / Ax2 = 0 일때, A(x1+x2) = 0 Ax = 0 , 상수 C에 대하여 A(cx) = 0 이다따라서 덧셈과 상수배에 대하여 닫혀있으므로 영벡터공간도 공간이다 6.2 열공간, Column Space of A 행렬A의 열벡터들의 선형결합으로 이루어진 공간Ax = b 의 해 x가 존재한다면, 벡터 b는 A의 열공간 내에 존재한다해가 존재한다는 의미는 A행렬의 역행렬이 존재한다는 의미이며, A의 열벡터들이 선형 독립이라는 의미이다.그런 경우 b벡터가 어떤것이든지 x = A-1b로 표현 가능하며, 이 말은 A의 열공간이 b벡터의 차원을 모두 표현 가능한 공간이라는 의미이다. 6.3 S..
1강 - 조건부확률과 베이즈 정리
1강 - 조건부확률과 베이즈 정리 1.1 용어 정리Sample Space (표본공간) : 시행을 통해 나올 수 있는 모든 경우의 집합Event (사건) : 표본공간의 부분집합P(A) = Prob(outcome ∈ A)조건부 확률 P(B | A) : 배반사건 : 서로 서로소인 사건전확률정리 (Total Probability) :(S1,S2 등은 모두 배반사건이며, S의 부분집합이다. 또한 모두 합집합 연산을 하면 S가 된다) 1.2 베이즈 정리 1.3 독립 P(B|A) = P(B) 인 경우, 두 사건은 독립이라 한다위 수식을 정리하면 P(A∩B) = P(A)P(B) 이다복원추출, 독립시행 등이 독립사건의 예이다 (주머니 공 꺼내기/주사위 던지기)독립과 배반사건은 완전히 다른 개념!!A와 B가 독립이면 A와..
5강 - 벡터공간과 열벡터공간
5강 - 벡터공간과 열벡터공간 5.1 Vector Space ‘공간’이란 덧셈과 상수배 연산에 대하여 닫혀있는 집합벡터공간 V내에 존재하는 임의의 n차원 벡터 x,y와 임의의 상수 c에 대하여 x+y , cx , c1x+c2y 등은 모두 V의 원소이다f(x) = ax2+bx+c 등의 꼴도 3차원 벡터 [a,b,c] 로 나타낼 수 있으므로 벡터공간으로 표현 가능하다f(x) = aex 등의 꼴도 테일러 급수로 표현하면 x에 대한 다항식으로 근사 가능하므로, 벡터공간으로 근사 가능하다. 단, 무한차원의 벡터이므로 이에 한하여 힐버트 공간이라 한다 5.2 벡터 연산의 특징 x+y = y+xx+(y+z) = (x+y)+z영벡터는 벡터의 덧셈에 대한 항등원이다모든 벡터공간은 원점(영벡터)을 필수 원소로 가진다벡터 ..
4강 - 역행렬과 전치행렬
4강 - 역행렬과 전치행렬 4.1 역행렬 역행렬은 AA-1 = A-1A = I 의 성질을 갖는다n*n 행렬의 역행렬은 가우스 소거법을 통해 n개의 pivot이 생겼을 때 존재한다n*n 행렬의 역행렬은 det-(행렬의 판별식) 값이 0이 아닌 경우에만 존재한다역행렬은 행렬 A에 대하여 단 한 개만 존재한다A의 역행렬이 존재한다면, Ax = b에서 x = A-1b 이며, 해는 단 하나이다A의 역행렬이 존재한다면, 입력 벡터와 출력 벡터간에 일대일 대응관계가 성립한다Ax = 0 일때, x=0을 trivial solution이라 한다Ax = 0 일때, trivial solution 외에 다른 해가 존재하려면 A의 역행렬이 존재하면 안 된다대각행렬의 역행렬은 대각성분만 역수를 취해주면 된다ABC의 역행렬은 C-1..
3강 - LU 분할
3강 - LU 분할 3.1 행렬 표현식에서의 가우스 소거법 가우스 소거법을 하기 위해 빨간색 행의 2배를 2번째 행에 빼 준다.위 행렬곱에서 등호 좌측을 보면, 왼쪽 벡터의 행은 우측 행렬의 행벡터의 선형결합 계수(-2,1,0)를 나타낸다(빨강 행벡터의 계수는 -2, 파랑 행벡터의 계수는 1, 그 결과값은 결과 행렬의 2행이 된다) 위 행렬 곱 표현 자체가 가우스 소거법을 하는 과정이며, 결과적으로 2행의 첫 값이 0이 되었다.이 때, 맨 좌측의 계수 행렬을 Elementary Matrix라 한다. 3.2 Elementary Matrix가우스 소거법을 반복하여 Elementary Matrix를 A의 좌측에 곱해주면 결국 U(상삼각행렬)이 남게 된다이 때, Elementary Matrix의 역행렬은 1이 ..
2강- 1차 연립방정식과 가우스 소거법
2강- 1차 연립방정식과 가우스 소거법 2.1 Singular Case의 예 해가 없는 경우 Row form 에서 두 직선이 평행한 경우Column form에서 벡터의 선형결합을 하려 하는데, 두 벡터가 평행한 경우 (평행한 두 벡터를 아무리 선형결합해도, 삐딱한 벡터는 만들 수 없다) 해가 무수히 많은 경우 Row form 에서 두 직선이 겹치는 경우Column form에서 벡터의 선형결합을 하려 하는데, 주어진 벡터가 선형 종속인 경우 (3가지 2차원 벡터가 주어졌지만 그 중 한개의 벡터는 쓸모없다) 2.2 가우스 소거법 연립방정식을 푸는 방법으로, 대각선 방향의 성분이 0이 되지 않게 각 행의 정수배를 빼고 더하는 과정을 통해 해를 구하는 방법. 이 때, 대각선 방향의 성분(계수) 를 pivot 이..
1강 - 선형성 정의 및 1차 연립방정식의 의미
1강 - 선형성 정의 및 1차 연립방정식의 의미1.1 선형성의 정의 : 선형성은 다음 두 가지 조건을 만족시켜야 함 Superposition : Homogeneity : 1.2 선형성의 특징 : 원점을 지나는 직선/평면/초평면을 의미함 그렇다면 딥 러닝에서의 bias는 선형성을 위배하는 것인가? 그렇지 않다. bias 축을 추가하여 해당 축의 좌표는 무조건 1, 계수는 b로 놓으면 선형적으로 해석 가능하다. 1.3 선형성을 띠는 연산의 예 미분, 적분 행렬과 벡터의 곱 1.4 벡터의 표기법 보통 벡터는 열벡터를 기본으로 한다 1.5 전치행렬 다 알죠? 1.6 선형 결합 여러 개의 벡터를 상수배 한 후, 더하는 연산 단순 상수배와 덧셈 연산으로 표기할수도 있지만, 행렬의 곱 형태로 표현 가능하다 1.7 행..