Math for Deep Learning/Linear Algebra
10강 - 벡터의 직교성과 직선투영
10강 - 벡터의 직교성과 직선투영 10.1 - 직교성 직교 관계를 만족하는 벡터/부공간들에 대해 알아보자. 수직인 벡터들은 선형 독립 관계이다.수직인 벡터들은 선형 결합 등의 연산이 쉽다. (기저로 사용한다)수직인 벡터는 내적했을 때 결과가 0이 된다. 10.2 - 벡터의 길이벡터의 길이는 아래와 같이 정의된다. 10.3 - 벡터의 내적 결과에 따른 해석 이루는 각이 90도 이루는 각이 90도보다 큼 이루는 각이 90도보다 작음 10.4 - 정규직교벡터정규직교벡터는 길이가 1이고, 서로 직교관계를 만족하는 벡터를 말한다. 정규직교벡터를 기저로 사용할 시, 특정 벡터를 선형 결합으로 나타내기 매우 쉬워진다.벡터 C가 존재한다고 하고, 정규직교벡터 v1,v2,v3가 존재하며, C를 v들의 선형결합으로 나타..
9강 - 선형변환과 행렬
9강 - 선형변환과 행렬 9.1 - Ax = b 의 해석Ax = b 에서, A의 열벡터를 x벡터의 계수를 이용하여 선형결합하고, 그 결과 b를 만들어낸다.x벡터를 A라는 시스템에 input으로 주고, b라는 output이 되어 나온다.n차원 벡터 x를 A라는 행렬을 이용하여 m차원 벡터 b를 만들어낸다.이 때, A를 선형성을 띠는 변환(선형 변환)으로 해석 가능하다.A(a*x1+b*x2) = aAx1 + bAx2 로, 선형성을 만족한다. 9.2 - 선형변환 A의 예 확대/축소 90도 회전 y=x에 대해 반전 위의 행렬 모두 선형성을 만족시킨다.미분, 적분 모두 선형변환에 해당되므로 행렬로 표현 가능하다. 9.3 - 선형변환 A를 구하는 방법행렬 A가 직접적으로 주어지지 않았더라도, A에 의한 벡터의 변환..
8강 - 벡터공간의 차원과 4가지 부벡터공간
8강 - 벡터공간의 차원과 4가지 부벡터공간 8.1 - 선형 독립과 기저, 랭크 어떠한 벡터공간을 span할 수 있는 벡터 집합은 유일하지 않다. 어떠한 벡터공간을 span할 수 있는 서로 선형 독립인 벡터 집합은 유일하지 않다.어떠한 벡터공간을 span할 수 있는 서로 선형 독립인 벡터 집합의 원소의 개수는 유일하다.그 원소의 개수를 차원이라고 하며, 그 벡터들을 기저라고 한다.서로 선형 독립인 벡터들을 이용하여 벡터공간 내의 한 점을 표현하는 방식은 유일하다.가장 이상적인 기저벡터는, 서로 수직인 관계를 만족하면 된다.어떠한 행렬 A의 Rank는 선형 독립인 열벡터의 개수이다 (= 열공간의 차원)어떠한 행렬 A의 Rank는 선형 독립인 행벡터의 개수이다 (= 행공간의 차원)어떠한 행렬 A의 Rank는..
7강 - 벡터의 선형독립과 기저벡터
7강 - 벡터의 선형독립과 기저벡터 7.1 Finding the solution of Ax = b (≠0) 위의 경우, 상수항이 0이 아니다. 예전 방식과 같이 행 사다리꼴로 만들어 준 뒤, 기약 행 사다리꼴 형식으로 바꿔준다. 처음으로 1이 등장하는 위치를 pivot이라 하며, 그 위치에 해당하는 변수를pivot variable, 그 외의 변수를 free variable이라 한다. pivot variable을 free variable로 나타내 준다. 벡터 형식으로 표현하면 위와 같다. 이때, 상수항이 붙어 있는 벡터를 special solution이라 하며, 상수항이 없는 벡터를 particular solution이라 한다. 그리고 special solution는 행렬A의 영공간의 기저벡터이다.즉, X..
6강 - 영벡터공간과 해집합
6강 - 영벡터공간과 해집합 6.1 영벡터공간 Ax = 0 을 만족시키는 x들의 집합을 영벡터공간이라 한다Ax1 = 0 / Ax2 = 0 일때, A(x1+x2) = 0 Ax = 0 , 상수 C에 대하여 A(cx) = 0 이다따라서 덧셈과 상수배에 대하여 닫혀있으므로 영벡터공간도 공간이다 6.2 열공간, Column Space of A 행렬A의 열벡터들의 선형결합으로 이루어진 공간Ax = b 의 해 x가 존재한다면, 벡터 b는 A의 열공간 내에 존재한다해가 존재한다는 의미는 A행렬의 역행렬이 존재한다는 의미이며, A의 열벡터들이 선형 독립이라는 의미이다.그런 경우 b벡터가 어떤것이든지 x = A-1b로 표현 가능하며, 이 말은 A의 열공간이 b벡터의 차원을 모두 표현 가능한 공간이라는 의미이다. 6.3 S..
5강 - 벡터공간과 열벡터공간
5강 - 벡터공간과 열벡터공간 5.1 Vector Space ‘공간’이란 덧셈과 상수배 연산에 대하여 닫혀있는 집합벡터공간 V내에 존재하는 임의의 n차원 벡터 x,y와 임의의 상수 c에 대하여 x+y , cx , c1x+c2y 등은 모두 V의 원소이다f(x) = ax2+bx+c 등의 꼴도 3차원 벡터 [a,b,c] 로 나타낼 수 있으므로 벡터공간으로 표현 가능하다f(x) = aex 등의 꼴도 테일러 급수로 표현하면 x에 대한 다항식으로 근사 가능하므로, 벡터공간으로 근사 가능하다. 단, 무한차원의 벡터이므로 이에 한하여 힐버트 공간이라 한다 5.2 벡터 연산의 특징 x+y = y+xx+(y+z) = (x+y)+z영벡터는 벡터의 덧셈에 대한 항등원이다모든 벡터공간은 원점(영벡터)을 필수 원소로 가진다벡터 ..
4강 - 역행렬과 전치행렬
4강 - 역행렬과 전치행렬 4.1 역행렬 역행렬은 AA-1 = A-1A = I 의 성질을 갖는다n*n 행렬의 역행렬은 가우스 소거법을 통해 n개의 pivot이 생겼을 때 존재한다n*n 행렬의 역행렬은 det-(행렬의 판별식) 값이 0이 아닌 경우에만 존재한다역행렬은 행렬 A에 대하여 단 한 개만 존재한다A의 역행렬이 존재한다면, Ax = b에서 x = A-1b 이며, 해는 단 하나이다A의 역행렬이 존재한다면, 입력 벡터와 출력 벡터간에 일대일 대응관계가 성립한다Ax = 0 일때, x=0을 trivial solution이라 한다Ax = 0 일때, trivial solution 외에 다른 해가 존재하려면 A의 역행렬이 존재하면 안 된다대각행렬의 역행렬은 대각성분만 역수를 취해주면 된다ABC의 역행렬은 C-1..
3강 - LU 분할
3강 - LU 분할 3.1 행렬 표현식에서의 가우스 소거법 가우스 소거법을 하기 위해 빨간색 행의 2배를 2번째 행에 빼 준다.위 행렬곱에서 등호 좌측을 보면, 왼쪽 벡터의 행은 우측 행렬의 행벡터의 선형결합 계수(-2,1,0)를 나타낸다(빨강 행벡터의 계수는 -2, 파랑 행벡터의 계수는 1, 그 결과값은 결과 행렬의 2행이 된다) 위 행렬 곱 표현 자체가 가우스 소거법을 하는 과정이며, 결과적으로 2행의 첫 값이 0이 되었다.이 때, 맨 좌측의 계수 행렬을 Elementary Matrix라 한다. 3.2 Elementary Matrix가우스 소거법을 반복하여 Elementary Matrix를 A의 좌측에 곱해주면 결국 U(상삼각행렬)이 남게 된다이 때, Elementary Matrix의 역행렬은 1이 ..