概率基础——矩阵正态分布matrix normal distribution
矩阵正态分布-matrix normal distribution
- 定义
- 性质
- 应用
最近碰到了这个概念，记录一下
（图片来源网络，侵删）矩阵正态分布是一种推广的正态分布，它应用于矩阵形式的数据。矩阵正态分布在多维数据分析、贝叶斯统计和机器学习中有广泛的应用。其定义和性质如下：
定义
设 X \mathbf{X} X 是一个 n × m n \times m n×m 的随机矩阵，如果 X \mathbf{X} X 服从矩阵正态分布，记作 X ∼ M N ( M , U , V ) \mathbf{X} \sim \mathcal{MN}(\mathbf{M}, \mathbf{U}, \mathbf{V}) X∼MN(M,U,V)，那么其概率密度函数为：
f ( X ∣ M , U , V ) = exp ( − 1 2 t r [ V − 1 ( X − M ) ⊤ U − 1 ( X − M ) ] ) ( 2 π ) n m 2 ∣ V ∣ n 2 ∣ U ∣ m 2 , f(\mathbf{X}|\mathbf{M}, \mathbf{U}, \mathbf{V}) = \frac{\exp\left(-\frac{1}{2} \mathrm{tr}\left[\mathbf{V}^{-1} (\mathbf{X} - \mathbf{M})^\top \mathbf{U}^{-1} (\mathbf{X} - \mathbf{M}) \right]\right)}{(2\pi)^{\frac{nm}{2}} |\mathbf{V}|^{\frac{n}{2}} |\mathbf{U}|^{\frac{m}{2}}}, f(X∣M,U,V)=(2π)2nm∣V∣2n∣U∣2mexp(−21tr[V−1(X−M)⊤U−1(X−M)]),
其中：
- M \mathbf{M} M 是 n × m n \times m n×m 的均值矩阵。
- U \mathbf{U} U 是 n × n n \times n n×n 的协方差矩阵，描述了行之间的协方差结构。
-
V
\mathbf{V}
V 是
m
×
m
m \times m
m×m 的协方差矩阵，描述了列之间的协方差结构。
性质
-
均值和协方差：
- E [ X ] = M \mathbb{E}[\mathbf{X}] = \mathbf{M} E[X]=M
-
C
o
v
(
v
e
c
(
X
)
)
=
V
⊗
U
\mathrm{Cov}(\mathrm{vec}(\mathbf{X})) = \mathbf{V} \otimes \mathbf{U}
Cov(vec(X))=V⊗U
其中 v e c ( X ) \mathrm{vec}(\mathbf{X}) vec(X) 表示将矩阵 X \mathbf{X} X 展平为一个列向量， ⊗ \otimes ⊗ 表示 Kronecker 乘积。
-
条件分布：
- 如果对 X \mathbf{X} X 的行或列进行条件化，条件分布仍然是矩阵正态分布。
-
独立性：
- 如果 U \mathbf{U} U 和 V \mathbf{V} V 都是对角矩阵，那么矩阵中的元素是独立的。
-
边际分布：
- 如果 X ∼ M N ( M , U , V ) \mathbf{X} \sim \mathcal{MN}(\mathbf{M}, \mathbf{U}, \mathbf{V}) X∼MN(M,U,V)，那么 X \mathbf{X} X 的任意一行或任意一列的分布是多元正态分布。例如， X \mathbf{X} X 的第 i i i 行的分布为 N ( X i ∗ , V ) \mathcal{N}(\mathbf{X}_{i*}, V) N(Xi∗,V)，其中 X i ∗ \mathbf{X}_{i*} Xi∗ 是第 i i i 行的均值向量。
应用
-
多变量统计分析：
- 在多变量统计分析中，用于描述和估计多元数据的协方差结构。
-
贝叶斯统计：
- 在贝叶斯统计中，作为先验分布和后验分布的一部分，用于处理矩阵形式的数据。
-
机器学习：
- 在机器学习中，特别是在高斯过程回归和多元线性回归中，用于建模和预测矩阵形式的数据。
-
