Lecture 14: Orthogonal vectors and subspaces

 

부분 공간 복습

 

그림1

 

Row space와 null space는 직교 (orthogonal)합니다. 

 

Column space와 left nll space도 직교 (orthogonal)합니다.

 

 

직교 벡터 (Orthogonal Vector)

 

직교는 두 벡터가 수직을 이룰 때 사용합니다. 

 

벡터가 직각 삼각형을 이룬다고 생각하면 됩니다.

 

그림2

 

피타고라스 정리에 의해 $\left \| \mathbf{x} \right \|^{2} + \left \| \mathbf{y} \right \|^{2} = \left \| \mathbf{x+y} \right \|^{2}$입니다.

 

n차원으로 확장하면 직교는 내적을 통해 0이되면 됩니다. 

 

$\mathbf{x}^{T}\mathbf{y} = [x_{1}, x_{2} ..., x_{n}]\begin{bmatrix}
y_{1}\\y_{2} 
\\... 
\\y_{n} 
\end{bmatrix} = \begin{bmatrix}
x_{1}y_{1} & + & x_{2}y_{2} & + & ... + x_{n}y_{n} 
\end{bmatrix} = 0$

 

$\mathbf{x} = \begin{bmatrix}
1\\2 
\\3
\end{bmatrix}$, $
\mathbf{y} = \begin{bmatrix}
2\\-1 
\\0
\end{bmatrix}$, $\mathbf{x + y} = \begin{bmatrix}
3\\1 
\\3
\end{bmatrix}$

 

$\left \| \mathbf{x}
  \right \|^{2} = 14$,  $\left \| \mathbf{y}
  \right \|^{2} = 5$,  $\left \| \mathbf{x+y}
  \right \|^{2} = 19$

 

$\left \| \mathbf{x} \right \|^{2} + \left \| \mathbf{y} \right \|^{2} = \left \| \mathbf{x+y} \right \|^{2}$

 

-> $\mathbf{x}^{T}\mathbf{x} + \mathbf{y}^{T}\mathbf{y} = (\mathbf{x+y})^{T}(\mathbf{x+y})$

 

-> $\mathbf{x}^{T}\mathbf{x} + \mathbf{y}^{T}\mathbf{y} = \mathbf{x}^{T}\mathbf{x} + \mathbf{y}^{T}\mathbf{y} + \mathbf{x}^{T}\mathbf{y} + \mathbf{y}^{T}\mathbf{x}$

 

$\mathbf{x}^{T}\mathbf{y} + \mathbf{y}^{T}\mathbf{x}$ 이므로 

 

$0 = 2\mathbf{x}^{T}\mathbf{y}$

 

따라서 $0 = \mathbf{x}^{T}\mathbf{y}$입니다. 

 

 

부분 공간의 직교 

 

부분 공간 S가 부분 공간 T에 직교한다는 의미를 알아보겠습니다.

 

이 말은 S에 존재하는 모든 벡터가 T에 있는 모든 벡터와 직교해야 한다는 뜻입니다. 

 

 

Row Space Is Orthogonal to Null Space

 

Row space는 null space와 직교합니다.

 

$A\mathbf{x} = 0$ -> $\begin{bmatrix}
row ~1 ~of ~A\\ row ~2 ~of ~A
\\--- 
\\ row ~m ~of ~A
\end{bmatrix}\begin{bmatrix}
\mathbf{x}
\end{bmatrix} = \begin{bmatrix}
0\\0 
\\--- 
\\0 
\end{bmatrix}$

 

행렬 A의 각 row와 벡터 x의 곱만 보면 내적과 똑같습니다. 

 

공간에 대해서 직교라고 하였으므로 row space에 존재하는 모든 벡터들의 선형 결합들도 null space 벡터와 직교합니다.

 

$(c_{1} ~row1 + c_{2} ~row2)^{T}\mathbf{x} = 0$

 

 

Row Space Is Orthogonal to Null Space - Rank

 

Row space의 차원은 rank인 r 차원입니다.

 

Null space의 차원은 n - r 차원입니다.

 

두 공간이 직교한다는 것은 $R^{n}$ 차원의 공간을 두 개의 수직한 부분 공간으로 나눴다는 것과 같습니다.

 

$A\mathbf{x} = 0$

 

-> $\begin{bmatrix}
1 & 2 &5 \\ 
2 & 4 &10 
\end{bmatrix}\begin{bmatrix}
x_{1}\\x_{2} 
\\x{3}
\end{bmatrix} = \begin{bmatrix}
0\\0
\end{bmatrix}$

 

위의 예에서 n = 3, r = 1, dimN(A) = 2입니다.

 

row space의 차원은 1이고 null space의 차원은 2입니다. 

 

둘의 차원을 더하면 3이 되어  전체 공간의 차원이 됩니다. 

 

이 말의 뜻은 null space와 row space는 $R^{n}$ 차원에서 서로 직교하는 보완재 (complements)라는 뜻입니다. 

 

 

$A\mathbf{x} = \mathbf{b}$의 해가 존재하지 않을 때 - $A^{T}A$ 최적해 구하기

 

$A\mathbf{x} = \mathbf{b}$에서 $\mathbf{b}$가 A의 column space 상에 존재하지 않으면 해가 존재하지 않은 경우라 하였습니다.

 

그러나 해는 아니지만 해와 근사한 값을 찾을 수 있습니다. (m > n)

 

$A^{T}A$ 행렬을 살펴봅니다.

 

A가 m x n 행렬이면 (m > n), $A^{T}A$는 n x n인 정사각행렬이됩니다. 

 

또한 이 행렬은 대칭 행렬입니다.

 

$(A^{T}A)^{T} = A^{T}A^{TT} = A^{T}A$

 

전치를 해도 원래 행렬 곱과 똑같습니다. 

 

이 행렬의 역행렬이 존재하는지 알아보겠습니다.

 

Full rank 즉, 행렬의 column이 독립이면 역행렬이 존재합니다.

 

$A^{T}A$ 행렬로 정확히는 아니더라도 최대한 만족시키는 해를 구할 수 있습니다.

 

$A\mathbf{x} = \mathbf{b}$ (m > n) 양 변에 $A^{T}$를 곱해줍니다. 

 

$A^{T}A\hat{\mathbf{x}} = A^{T}\mathbf{x}$

 

$\hat{\mathbf{x}}$이 바로 최적해입니다. 

 

$A^{T}A\hat{\mathbf{x}}$ = $A^{T}\mathbf{b}$

 

$(A^{T}A)^{-1}A^{T}A\hat{\mathbf{x}}$ = $(A^{T}A)^{-1}A^{T}\mathbf{b}$

 

$\hat{\mathbf{x}}$ = $(A^{T}A)^{-1}A^{T}\mathbf{b}$