선형대수학 1.6 — 기저와 차원

공간을 설명하는 최소한의 언어

벡터공간이라는 무한한 집합을 유한한 정보로 완전히 기술할 수 있다면, 그것은 매우 강력한 능력입니다. 앞선 두 개념 — 생성(span)과 일차독립 — 을 결합하면, 바로 그런 능력을 가진 도구를 얻습니다.

생성집합과 기저

벡터들의 집합 $S = \{\mathbf{v}_1, \mathbf{v}_2, \ldots, \mathbf{v}_n\}$ 이 있을 때, 이 집합의 모든 일차결합으로 만들 수 있는 벡터들의 집합을 $\text{span}(S)$ 라고 합니다. $\text{span}(S) = V$ 이면, $S$ 를 벡터공간 $V$ 의 **생성집합(spanning set)**이라고 합니다.

생성집합은 공간 전체를 "커버"하지만, 그 안에 불필요한 벡터가 있을 수 있습니다. 일차종속인 벡터가 포함되어 있으면, 그 벡터를 빼도 span은 변하지 않습니다. 가장 경제적인 생성집합 — 일차독립이면서 공간 전체를 생성하는 집합 — 이 **기저(basis)**입니다.

기저 (Basis) 벡터공간 $V$ 의 기저는 다음 두 조건을 동시에 만족하는 벡터들의 집합 $\mathcal{B} = \{\mathbf{v}_1, \ldots, \mathbf{v}_n\}$ 입니다.

$\mathbf{v}_1, \ldots, \mathbf{v}_n$ 은 일차독립입니다.

$\text{span}(\mathbf{v}_1, \ldots, \mathbf{v}_n) = V$ 입니다.

두 조건 중 하나라도 빠지면 기저가 아닙니다. 일차종속이면 "중복이 있는" 기저이고, span이 $V$ 전체가 아니면 "불충분한" 기저입니다. 기저는 이 두 결함을 동시에 피하는 정확히 균형 잡힌 집합입니다.

표준기저

$\mathbb{R}^n$ 의 가장 자연스러운 기저는 **표준기저(standard basis)**입니다.

$\mathbf{e}_1 = \begin{pmatrix}1\\0\\\vdots\\0\end{pmatrix}, \quad \mathbf{e}_2 = \begin{pmatrix}0\\1\\\vdots\\0\end{pmatrix}, \quad \ldots, \quad \mathbf{e}_n = \begin{pmatrix}0\\0\\\vdots\\1\end{pmatrix}$

이 벡터들이 일차독립임은 명백합니다. 각 벡터는 정확히 하나의 좌표에서만 1을 가지므로, 어떤 벡터도 나머지의 조합으로 만들어질 수 없습니다. 또한 임의의 벡터 $(x_1, x_2, \ldots, x_n)^\top$ 은

$x_1\mathbf{e}_1 + x_2\mathbf{e}_2 + \cdots + x_n\mathbf{e}_n$

으로 표현되므로, $\text{span}\{\mathbf{e}_1, \ldots, \mathbf{e}_n\} = \mathbb{R}^n$ 입니다.

표준기저가 편리한 이유는, 어떤 벡터를 표현하는 계수가 곧 그 벡터의 좌표 성분 자체이기 때문입니다.

차원

같은 벡터공간이라도 기저는 여러 가지가 있을 수 있습니다. 그런데 놀라운 사실이 있습니다. 어떤 기저를 택하더라도, 기저의 원소 개수는 항상 동일합니다.

차원 (Dimension) 벡터공간 $V$ 의 차원 $\dim(V)$ 는 $V$ 의 임의의 기저의 원소 개수로 정의됩니다.

예를 들어 $\mathbb{R}^3$ 의 기저는 표준기저 $\{\mathbf{e}_1, \mathbf{e}_2, \mathbf{e}_3\}$ 뿐만 아니라 다음과 같은 것도 됩니다.

$\left\{\begin{pmatrix}1\\1\\0\end{pmatrix}, \begin{pmatrix}0\\1\\1\end{pmatrix}, \begin{pmatrix}1\\0\\1\end{pmatrix}\right\}$

이 집합도 일차독립이고 $\mathbb{R}^3$ 전체를 생성합니다. 원소 개수는 여전히 3입니다. $\dim(\mathbb{R}^3) = 3$ 은 어떤 기저를 택해도 변하지 않는 불변량입니다.

기저 변환과 좌표

기저를 선택한다는 것은 공간을 바라보는 좌표계를 선택하는 것과 같습니다.

기저 $\mathcal{B} = \{\mathbf{v}_1, \ldots, \mathbf{v}_n\}$ 이 주어졌을 때, 임의의 벡터 $\mathbf{x} \in V$ 는 유일하게

$\mathbf{x} = c_1\mathbf{v}_1 + c_2\mathbf{v}_2 + \cdots + c_n\mathbf{v}_n$

으로 표현됩니다. 계수 $(c_1, c_2, \ldots, c_n)$ 을 기저 $\mathcal{B}$ 에 대한 $\mathbf{x}$ 의 **좌표(coordinates)**라고 합니다.

표준기저에서의 좌표는 우리가 늘 사용하는 직교 좌표계입니다. 그러나 문제에 따라 다른 기저를 택하면 계산이 훨씬 단순해지는 경우가 많습니다. 주성분 분석(PCA)이나 푸리에 변환이 본질적으로 하는 일도 "문제에 맞는 더 좋은 기저를 찾는 것"입니다.

기저가 달라지면 같은 벡터가 다른 좌표로 표현됩니다. 기저 변환 행렬(change of basis matrix)은 두 기저 사이에서 좌표를 변환하는 도구입니다.

마무리: 선형대수학이 AI와 ML에서 갖는 의미

1.1 벡터에서 시작해 벡터공간, 부분공간, 일차결합, 일차독립을 거쳐 기저와 차원에 이르렀습니다. 이 여정은 단순한 개념 나열이 아닙니다. 선형대수학은 현대 AI와 머신러닝의 수학적 토대입니다.

신경망의 가중치 행렬은 고차원 공간에서의 선형 변환입니다. 언어 모델이 단어를 벡터로 표현하는 임베딩(embedding)은 의미 관계를 벡터공간의 구조로 포착합니다. 차원 축소 기법인 PCA는 데이터의 "진짜 기저" — 분산이 큰 방향 — 를 찾는 작업입니다. 행렬 분해(SVD, eigendecomposition)는 공간을 더 의미 있는 기저로 표현합니다.

데이터는 고차원 벡터공간의 한 점입니다. 학습이란 그 공간에서 의미 있는 구조를 발견하는 과정이고, 기저는 그 구조를 가장 효율적으로 기술하는 언어입니다.

선형대수학을 배운다는 것은, 고차원 공간을 두려워하지 않고 그 안에서 길을 찾는 법을 익히는 것입니다.

이 시리즈가 그 길의 첫 발걸음이 되었기를 바랍니다.