1강 - 선형성 정의 및 1차 연립방정식의 의미 — Dong's Archive

1강 - 선형성 정의 및 1차 연립방정식의 의미

1.1 선형성의 정의 : 선형성은 다음 두 가지 조건을 만족시켜야 함

Superposition : $f(x_1+x_2) = f(x_1) + f(x_2)$
Homogeneity : $f(ax) = a\cdot f(x)$

1.2 선형성의 특징 : 원점을 지나는 직선/평면/초평면을 의미함

그렇다면 딥 러닝에서의 bias는 선형성을 위배하는 것인가?
- 그렇지 않다. bias 축을 추가하여 해당 축의 좌표는 무조건 1, 계수는 b로 놓으면 선형적으로 해석 가능하다.

1.3 선형성을 띠는 연산의 예

미분, 적분
$\frac{d}{dt}(a_1x_1(t)+a_2x_2(t)) = a_1\frac{d}{dt}x_1(t) + a_2\frac{d}{dt}x_2(t)$
행렬과 벡터의 곱
$A(a_1x_1+a_2x_2) = a_1Ax_1 + a_2Ax_2$

1.4 벡터의 표기법

$(a,b,c) : row\: vector$
$\begin{pmatrix}a \\ b\\ c\end{pmatrix} : column\: vector$
보통 벡터는 열벡터를 기본으로 한다

1.5 전치행렬

다 알죠?

1.6 선형 결합

여러 개의 벡터를 상수배 한 후, 더하는 연산
단순 상수배와 덧셈 연산으로 표기할수도 있지만, 행렬의 곱 형태로 표현 가능하다
$\begin{bmatrix} a_1 &a_2 \\ b_1 &b_2 \\ c_1& c_2 \end{bmatrix}\begin{bmatrix} \alpha \\ \beta \end{bmatrix} = \alpha \begin{bmatrix} a_1\\ b_1\\ c_1 \end{bmatrix}+\beta \begin{bmatrix} a_2\\ b_2\\ c_2 \end{bmatrix}$

1.7 행렬 연산의 특징

행렬의 덧셈은 교환법칙이 성립한다
행렬의 곱셈은 일반적으로 교환법칙이 성립하지 않는다
단위행렬은 행렬의 곱에 대한 항등원이다
역행렬은 행렬의 곱에 대한 역원이다

1.8 벡터 연산의 특징

벡터의 덧셈은 선형성이 성립되며, 평행사변형법을 사용하여 구할 수 있다.
벡터의 뺄셈은 뒤 벡터로부터 앞 벡터로 향하는 벡터를 그리면 된다
벡터의 내적은 각 벡터의 길이의 곱에 두 벡터가 이루는 각의 코사인값을 곱한 것이다
벡터의 내적은 각 벡터의 성분의 곱의 합이다
$\large v_1\cdot v_2 = \left | v_1 \right |\left | v_2 \right |\cos \theta = a_1a_2+b_1b_2+c_1c_2$
함수의 내적은 무한개의 t에 대한 두 함숫값의 곱의 합으로 정의된다 (Hilbert Space)
$\large \sum_{k=-\infty }^{\infty}f_1(t_k)f_2(t_k) \rightarrow \int f_1(t)f_2(t)dt$

1.9 연립방정식의 2가지 해석

row form : 두 직선, 평면 등등 그러한 도형들의 교점으로 해석
$\large \left\{\begin{matrix} x+2y=3\\ 4x+5y = 6 \end{matrix}\right.$
column form : 열벡터들의 선형 결합, 즉 화살표로 해석
$\large \begin{bmatrix} 1 &2 \\ 4&5 \end{bmatrix}\begin{bmatrix} x\\ y \end{bmatrix} = x\begin{bmatrix} 1\\ 4 \end{bmatrix}+y\begin{bmatrix} 2\\ 5 \end{bmatrix}$

저작자표시 비영리 변경금지

티스토리툴바