不变子空间

在有限维向量空间上每个线性变换${\displaystyle T:V\rightarrow V}$在选取了一个${\displaystyle V}$的基以后都可以用一个矩阵来表达。假设现在${\displaystyle W}$是一个${\displaystyle T}$不变子空间。取${\displaystyle W}$的一个基${\displaystyle C=\{{\textbf {i}}_{1},\cdots ,{\textbf {i}}_{k}\}}$，并扩充成为${\displaystyle V}$的一个基${\displaystyle B}$。则${\displaystyle T}$对应于基${\displaystyle B}$的矩阵${\displaystyle [T]_{B}}$将有如下形式：

${\displaystyle [T]_{B}={\begin{bmatrix}[T|_{W}]_{C}&*\\0&*\end{bmatrix}}}$

其中左上角块表达了${\displaystyle W}$中的向量的像还在${\displaystyle W}$本身中因此是${\displaystyle W}$的基向量的线性组合这一事实。

主条目：不变子空间问题

不变子空间问题主要是关于${\displaystyle V}$是大于1维的复数域上的可分希尔伯特空间，而${\displaystyle T}$是有界算子的情况的。它求证是否${\displaystyle T}$总是有一个非平凡闭子空间。该问题直至2006年还未獲解答。若${\displaystyle V}$只是巴拿赫空间，1984年Charles Read证明存在反例。

更一般的，不变子空间可以定义在算子集合上（算子代数，群表示），它们是在该集合中的每个算子下不变的子空间。

例如，给定一个群${\displaystyle G}$在向量空间${\displaystyle V}$上的表示，每个${\displaystyle G}$的元素${\displaystyle g}$有一个对应的线性变换${\displaystyle T(g):V\rightarrow V}$。若${\displaystyle V}$的子空间${\displaystyle W}$在所有这些变换下不变，则它是一个子表示，而群${\displaystyle G}$以自然的方式作用于${\displaystyle W}$上。