Lecture 11: Matrix spaces; rank 1; small world graphs

 

행렬 공간 (Matrix Spaces)

 

행렬 공간은 새로운 벡터 공간입니다.

 

$M$은 모든 3 by 3 matrix를 의미합니다. 

 

행렬 공간을 새로운 벡터 공간이라고 하는 이유는 벡터 공간의 조건을 만족하기 때문입니다. 

 

즉, 행렬들끼리 선형 결합을 해도 같은 공간에 위치합니다. 

 

$c_{1}M_{1} + c_{2}M_{2} = c_{1}\begin{bmatrix}
a_{11} & a_{12} &a_{13} \\ 
a_{21} & a_{22} & a_{23}\\ 
a_{31} & a_{32} & a_{33}
\end{bmatrix} + c_{2}\begin{bmatrix}
b_{11} & b_{12} & b_{13} \\ 
b_{21} & b_{22} & b_{23}\\ 
b_{31} & b_{32} & b_{33}
\end{bmatrix}$

 

행렬을 곱하게 되면 공간은 달라집니다. 

 

 

행렬 공간의 부분공간 

 

행렬 M은 다음과 같은 부분 공간을 가집니다.

 

대칭행렬 (Symmetric Matrix)

 

상삼각행렬 (Upper triangular Matrix)

 

대각 행렬 (Diagonal Matrix)

 

 

행렬 공간의 기저와 차원 

 

행렬 공간의 차원은 행렬을 구성하고 있는 원소의 개수입니다.

 

3 x 3 크기의 행렬 M의 차원은 9입니다.

 

차원이 9이므로 기저도 9개입니다.

 

$\begin{bmatrix}
1 & 0 & 0\\ 
0 & 0 & 0\\ 
0 & 0 & 0
\end{bmatrix}, \begin{bmatrix}
0 & 1 & 0\\ 
0 & 0 & 0\\ 
0 & 0 & 0
\end{bmatrix}, \begin{bmatrix}
0 & 0 & 1\\ 
0 & 0 & 0\\ 
0 & 0 & 0
\end{bmatrix}, ..., \begin{bmatrix}
0 & 0 & 0\\ 
0 & 0 & 0\\ 
0 & 0 & 1
\end{bmatrix}$

 

위처럼 1과 0으로만 구성된 기저를 표준 기저 (standard basis)라고 합니다.

 

기저 벡터의 선형 결합을 하면 3 x 3 크기 행렬의 어떤 형태도 만들 수 있습니다. 

 

행렬 M은 9차원이고 원소를 column vector 대신 행렬로 표현한 것입니다. 

 

 

행렬 공간의 부분 공간 - 대칭 행렬

 

대칭 행렬은 M의 부분공간 입니다.

 

$S = \begin{bmatrix}
a &  b& c\\ 
b &  d& e\\ 
c &  e& f
\end{bmatrix}$

 

대각 원소들을 기준으로 아래 위가 같습니다. 

 

행렬 M의 표준 기저 중 3개가 S의 기저에 포함됩니다.

 

$\begin{bmatrix}
1 &  0& 0\\ 
0 &  0& 0\\ 
0 &  0& 0
\end{bmatrix}, \begin{bmatrix}
0 &  0& 0\\ 
0 &  1& 0\\ 
0 &  0& 0
\end{bmatrix}, \begin{bmatrix}
0 &  0& 0\\ 
0 &  0& 0\\ 
0 &  0& 1
\end{bmatrix}$

 

이외에도 

 

$\begin{bmatrix}
0 &  1& 0\\ 
1 &  0& 0\\ 
0 &  0& 0
\end{bmatrix}, \begin{bmatrix}
0 &  0& 1\\ 
0 &  0& 0\\ 
1 &  0& 0
\end{bmatrix}, \begin{bmatrix}
0 &  0& 0\\ 
0 &  0& 1\\ 
0 &  1& 0
\end{bmatrix}$도

 

대칭 행렬의 기저입니다. 

 

대칭 행렬의 기저는 6개 입니다. 

 

즉, 차원은 6입니다. 

 

 

행렬 공간의 부분 공간 - 상삼각 행렬 

 

상감각 행렬은 M의 부분공간 입니다.

 

$U = \begin{bmatrix}
a & b & c\\ 
0 &  d& e\\ 
0 & 0 & f
\end{bmatrix}$

 

대각 원소들을 기준으로 위쪽에만 원소들이 있습니다.

 

행렬 M의 표준 기저 중 6개가 U의 기저에 포함됩니다.

 

$\begin{bmatrix}
1 & 0 &0 \\ 
0 & 0 & 0\\ 
0 & 0 & 0
\end{bmatrix}, \begin{bmatrix}
0 & 0 &0 \\ 
0 & 1 & 0\\ 
0 & 0 & 0
\end{bmatrix}, \begin{bmatrix}
0 & 0 &0 \\ 
0 & 0 & 0\\ 
0 & 0 & 1
\end{bmatrix}, \begin{bmatrix}
0 & 1&0 \\ 
0 & 0 & 0\\ 
0 & 0 & 0
\end{bmatrix}, \begin{bmatrix}
0 & 0 & 1 \\ 
0 & 0 & 0\\ 
0 & 0 & 0
\end{bmatrix}, \begin{bmatrix}
0 & 0 &0 \\ 
0 & 0 & 1\\ 
0 & 0 & 0
\end{bmatrix} $

 

U의 기저는 6개이고 따라서 차원도 6입니다.

 

 

행렬 공간의 부분 공간 - 대각 행렬

 

대각 행렬은 M의 부분공간 입니다.

 

대각 행렬은 대칭 행렬과 상삼각 행렬의 교집합으로 정의합니다. 

 

$S \cap U = \begin{bmatrix}
a &  b& c\\ 
b &  d& e\\ 
c &  e& f
\end{bmatrix} \cap \begin{bmatrix}
a & b & c\\ 
0 & d & e\\ 
0 & 0 & f
\end{bmatrix} = \begin{bmatrix}
a &  0& 0\\ 
0 & d & 0\\ 
0 & 0 & f
\end{bmatrix} = D $

 

대각 행렬의 차원은 3입니다. 

 

 

대칭 행렬과 상삼각 행렬의 합집합

 

대칭 행렬과 상삼각 행렬의 교집합은 대각 행렬입니다.

 

합칩합을 알아보겠습니다.

 

$S \cup U = \begin{bmatrix}
a &  b& c\\ 
b &  d& e\\ 
c &  e& f
\end{bmatrix} \cup \begin{bmatrix}
a & b & c\\ 
0 & d & e\\ 
0 & 0 & f
\end{bmatrix} $

 

합집합은 성립이 되지 않습니다. 

 

둘의 공간을 한꺼번에 놓을 수 없기 때문이다고 알고 계시면 됩니다.

 

 

대칭 행렬과 상감삭 행렬을 이용하여 부분 공간 정의하기 

 

대칭 행렬과 상삼각 이용하여 부분 공간을 정의하고 싶으면 합집합이 아니라 더하면 됩니다.

 

$S + U = \begin{bmatrix}
a &  b& c\\ 
b &  d& e\\ 
c &  e& f
\end{bmatrix} + \begin{bmatrix}
a & b & c\\ 
0 & d & e\\ 
0 & 0 & f 
\end{bmatrix} = \begin{bmatrix}
a' & b' & c'\\ 
d' & e' & f'\\ 
g' &  h'& i'
\end{bmatrix}$

 

S와 U를 결합하면 모든 3 x 3 행렬을 만들 수 있습니다.

 

즉, M을 만들 수 있고 차원은 9입니다.

 

 

차원 정리

 

dim(M) = 9

 

dim(S) = 6

 

dim(U) = 6

 

$dim(S \cap U) = 3$

 

$dim(S + U) = 9$

 

dim(S) + dim(U) = $dim(S \cap U) + dim(S + U)

 

 

행렬 공간의 예시 - 미분 방정식

 

벡터를 가지지 않는 형태의 미분방정식이 있습니다. 

 

$\frac{d^{2}y}{dx^{2}} + y = 0$ 

 

미분방정식의 해는 

 

y = cos(x), sin(x), $e^{ix}$ 이 있습니다. 

 

이 해들은 미분방정식의 null space를 나타냅니다. 

 

미분방정식의 null space의 완전해 (complete solution)을 정의하겠습니다.

 

$e^{ix}$는 잠시 두고 cos(x)와 sin(x)만 이용합니다.

 

y = $c_{1}cos(x) + c_{2}sin(x)$

 

위 식을 벡터 공간이라 할 수 있습니다.

 

solution space를 cos과 sin의 선형 결합으로 표현할 수 있기 때문입니다.

 

cos과 sin은 기저입니다. 

 

둘의 선형 조합은 해 공간인 null space를 형성하고 독립입니다. 

 

결과적으로 미분방정식을 $A\mathbf{x} = \mathbf{0}$으로 볼 수 있고 

 

위의 예에서 차원은 2입니다. 

 

$e^{ix}, e^{-ix}$ 역시 기저가 될 수 있습니다. 

 

 

선형미분방정식과 선형대수의 연결점

 

선형미분방정식을 푸는 것은 방정식의 해 공간에 대한 기저를 찾는 것입니다. 

 

기저들을 벡터라고 부를 수 있다는 것이 중요합니다. 선형 결합이 가능하기 때문입니다.

 

선형 대수의 기저와 차원, span 등이 행렬보다 더 넓은 곳에서 쓰일 수 있습니다

 

 

Rank가 1인 행렬

 

rank가 1인 행렬의 예입니다.

 

$A = \begin{bmatrix}
1 & 4 &5 \\ 
2 & 8 &10 
\end{bmatrix}$

 

1행과 2행은 종속이며 열도 마찬가지 입니다. 

 

rank 1인 행렬이 표현 가능한 공간은 1차원이며 직선입니다.

 

row space와 column space의 기저는 각각 row1, col1이기 때문에 차원은 1입니다.

 

$C(A)의 기저 : \begin{bmatrix}
1\\2
\end{bmatrix}$

 

$C(A^{T})의 기저 : \begin{bmatrix}
1 & 4 & 5
\end{bmatrix}$

 

dimC(A) = rank = $dimC(A^{T})$

 

기저들의 곱으로 원래의 행렬 A를 만들 수 있습니다.

 

$\begin{bmatrix}
1\\2
\end{bmatrix}\begin{bmatrix}
1 &4  &5 
\end{bmatrix}=\begin{bmatrix}
1 & 4 & 5\\ 
2 & 8 &10 
\end{bmatrix}$

 

$A = uv^{T}$

 

column space의 기저와 row space의 기저를 곱했더니 행렬 A가 만들어졌습니다. 

 

column vector와 row vector 순으로 곱하면 반드시 rank 1의 행렬이 만들어집니다. 

 

 

5 by 17 matrices 예

 

행렬 M은 모든 5 x 17 크기의 행렬입니다. 

 

이 행렬의 rank가 4이면 rank 1 행렬의 결합으로 표현될 수 있습니다. 

 

즉 원래의 행렬을 rank 1 행렬들로 분해하여 표현하는 것이 가능합니다.

 

$A_{5 x 14} = U1_{5 x 14} + U2_{5 x 14} + U3_{5 x 14} + U4_{5 x 14}$

 

 

Rank가 1인 행렬의 부분공간

 

행렬 M은 모든 5 x 17 크기의 행렬이라 했을 때 이 중 rank가 4인 행렬들은 M의 부분 공간이 될 수 없습니다.

 

rank가 4인 행렬들을 더했을 때 rank가 4가 안 될 수 있기 때문입니다. (부분 공간 조건 위배)

 

 

$R^{4}$ 예시

 

4차원 공간의 벡터는 $\mathbf{v} = \begin{bmatrix}
v_{1}\\v_{2} 
\\v_{3} 
\\v_{4}
\end{bmatrix}$입니다.

 

부분 공간을 다음과 같이 정의 합니다.

 

S는 4차원 공간의 모든 벡터 v 단, $v_{1} + v_{2} + v_{3} + v_{4} = 0$

 

S는 $R^{4}$의 부분 공간입니다. 선형 결합을 해보면 여전히 공간 안에 존재합니다.

 

S 안의 벡터 v는 어떤 행렬 A의 null space입니다. 

 

즉, $A = \begin{bmatrix}
1 & 1 & 1 &1 
\end{bmatrix}$의 null space의 해입니다. ($A\mathbf{v} = 0$)

 

special solution을 구해보겠습니다.

 

pivot variable이 한 개고 free variable이 3개이므로 null space의 special solution은 아래와 같습니다. 

 

$\begin{bmatrix}
-1\\1 
\\0 
\\0
\end{bmatrix}, \begin{bmatrix}
-1\\0 
\\1
\\0
\end{bmatrix},\begin{bmatrix}
-1\\0 
\\0 
\\1
\end{bmatrix}$

 

null space의 기저입니다. n -r = 3

 

row space의 기저는 1행인 [1 1 1 1] 입니다.  r = 1

 

column space의 기저는 상수값입니다. $R^{1}$ r = 1

 

Left null space의 기저는

 

$\begin{bmatrix}
1\\1 
\\1 
\\1
\end{bmatrix}\begin{bmatrix}
x
\end{bmatrix} = \begin{bmatrix}
0\\0 
\\0 
\\0
\end{bmatrix}$

 

를 만족시키는 건 0 밖에 없습니다.

 

즉, left nll space는 0차원의 공간입니다.  m - r = 0