潜在语义分析与非负矩阵分解 · 机器学习 POD

从词袋到话题

文本分析的第一步通常是把文档变成向量。最朴素的做法是词袋模型（Bag of Words）：建一张词表，大小为 $m$ ；有 $n$ 篇文档；构造一个 $m \times n$ 的词-文档矩阵 $X$ ，其中 $X_{ij}$ 表示第 $i$ 个词在第 $j$ 篇文档中出现的频次（或 TF-IDF 权重）。

这个矩阵有两个致命问题：

极度稀疏。词表通常几万甚至几十万，但一篇文档只用几百个词。 $X$ 里绝大多数元素是零。
语义缺失。"汽车"和"轿车"是不同的行，在 $X$ 里完全正交——但它们语义几乎相同。反过来，"苹果"一个词对应水果和公司两种含义，在 $X$ 里却只有一行。

问题的根源在于：词袋模型工作在单词向量空间（ $m$ 维），维度太高，每个维度只对应一个具体的词，没有抽象出「话题」这个概念。

我们需要一种降维方法：把 $m$ 维的单词空间压到 $k$ 维的话题向量空间（ $k \ll m$ ），使得语义相近的词被映射到相近的方向。这恰好是矩阵分解擅长的事情。

如果你已经读过 SVD 篇，你知道截断 SVD 是最优低秩近似。如果你读过 PCA 篇，你知道降维的关键是保留方差最大的方向。LSA 和 NMF 就是把这些工具用到词-文档矩阵上。

潜在语义分析 (LSA)

潜在语义分析（Latent Semantic Analysis，也叫 LSI——Latent Semantic Indexing）的核心思路极其简单：对词-文档矩阵 $X$ 做截断 SVD，用低秩近似来发现隐藏的话题结构。

截断 SVD 回顾

SVD 篇详细介绍了：任意 $m \times n$ 矩阵 $X$ 都可以精确分解为

X = U \Sigma V^\top

其中 $U \in \mathbb{R}^{m \times m}$ 正交， $\Sigma$ 是奇异值对角矩阵（ $\sigma_1 \geq \sigma_2 \geq \cdots$ ）， $V \in \mathbb{R}^{n \times n}$ 正交。

截断 SVD 只保留前 $k$ 个最大的奇异值：

X \approx X_k = U_k \Sigma_k V_k^\top

其中 $U_k \in \mathbb{R}^{m \times k}$ ， $\Sigma_k \in \mathbb{R}^{k \times k}$ ， $V_k \in \mathbb{R}^{n \times k}$ 。根据 Eckart-Young 定理，这是 Frobenius 范数下最优的秩- $k$ 近似。

LSA 的语义解读

把截断 SVD 的三个矩阵放到文本语境下：

$U_k$ （ $m \times k$ ）：每一行是一个词的 $k$ 维话题表示。语义相近的词（如"机器"和"算法"）在这个空间里方向接近。
$V_k$ （ $n \times k$ ）：每一行是一个文档的 $k$ 维话题表示。内容相似的文档被映射到相近的位置。
$\Sigma_k$ （ $k \times k$ ）：对角线上的奇异值表示每个话题的「强度」。 $\sigma_1$ 最大，对应最主要的话题维度。

几何意义很清楚：原来 $m$ 维的单词空间里，每个词是一个极度稀疏的 one-hot 向量；经过 LSA 之后，每个词变成了一个稠密的 $k$ 维向量，坐标的含义是「这个词在各个话题上的参与度」。

LSA 的计算流程

构造词-文档矩阵 $X$ （通常用 TF-IDF 加权而非原始频次）
对 $X$ 做截断 SVD，取前 $k$ 个奇异值（ $k$ 通常取 100~300）
用 $U_k \Sigma_k$ 的行向量作为词的表示，用 $V_k \Sigma_k$ 的行向量作为文档的表示
在低维空间里用余弦相似度做检索、分类、聚类

LSA 的局限

分解结果可以是负数。 $U_k$ 和 $V_k$ 的元素可正可负。说一个词在某个话题上的参与度是 $-0.3$ ——负的参与度很难解释。
话题不可叠加解读。一篇文档不能被理解为"30% 话题A + 70% 话题B"，因为有负值搅局。
不能处理多义词。每个词只有一个向量，无法区分"苹果（水果）"和"苹果（公司）"。

第一个问题催生了 NMF；第三个问题后来被 Word2Vec 和 BERT 解决。

非负矩阵分解 (NMF)

非负矩阵分解（Non-negative Matrix Factorization，NMF）只加了一条看似简单的约束——所有元素都不能是负数——但这一条约束带来了质的变化。

基本形式

给定非负矩阵 $X \in \mathbb{R}_{\geq 0}^{m \times n}$ ，NMF 寻找两个非负矩阵 $W \in \mathbb{R}_{\geq 0}^{m \times k}$ ， $H \in \mathbb{R}_{\geq 0}^{k \times n}$ ，使得：

X \approx W H

其中 $k$ 是话题数，通常 $k \ll \min(m, n)$ 。

和 SVD 的关键区别： $W$ 和 $H$ 的所有元素都 $\geq 0$ 。

非负约束的意义

这条约束为什么重要？因为它让分解结果有了直觉上的「可加性」解读：

X_{ij} \approx \sum_{t=1}^{k} W_{it} \cdot H_{tj}

每个文档是几个话题的加法叠加（没有减法）。 $W_{it}$ 是第 $i$ 个词对第 $t$ 个话题的贡献强度（非负 = "有多大关系"）， $H_{tj}$ 是第 $t$ 个话题在第 $j$ 篇文档中的激活程度（非负 = "有多强"）。

这就像调鸡尾酒：每杯酒是几种基酒的正比例混合，不存在"减去50ml伏特加"这种操作。你可以直接说：这篇文档 = 40% 体育话题 + 60% 科技话题。LSA 做不到这一点。

直觉总结：

	SVD / LSA	NMF
元素取值	可正可负	非负
解读	话题方向（可以"反向参与"）	话题强度（纯粹的"有多少"）
类比	正交坐标系	鸡尾酒配方

目标函数

NMF 最常见的两种损失函数：

平方损失（Frobenius 范数）：

\min_{W \geq 0,\; H \geq 0} \|X - WH\|_F^2 = \sum_{i,j} (X_{ij} - (WH)_{ij})^2

KL 散度损失（也叫广义 KL 散度）：

\min_{W \geq 0,\; H \geq 0} D(X \| WH) = \sum_{i,j} \left[ X_{ij} \log \frac{X_{ij}}{(WH)_{ij}} - X_{ij} + (WH)_{ij} \right]

两种损失对应不同的噪声模型：平方损失假设高斯噪声，KL 散度假设泊松噪声。实际中平方损失用得更多。

乘法更新规则

NMF 的优化不是凸问题（ $W$ 和 $H$ 耦合），没有全局最优的闭式解。Lee & Seung (1999, 2001) 提出了经典的乘法更新规则，简洁优雅：

对于平方损失，更新公式是：

H_{tj} \leftarrow H_{tj} \cdot \frac{(W^\top X)_{tj}}{(W^\top W H)_{tj}}

W_{it} \leftarrow W_{it} \cdot \frac{(X H^\top)_{it}}{(W H H^\top)_{it}}

关键性质：

自动保非负。只要初始值非负，乘法更新（乘一个非负因子）的结果永远非负。不需要额外做投影或裁剪。
单调递减。每一步更新都保证目标函数不增。这个可以严格证明——分子分母的比值恰好对应梯度下降的步长。
收敛到局部最优。由于问题非凸，不同的初始化可能得到不同的结果。

和梯度下降的关系：乘法更新其实是一种缩放梯度下降——用当前值除以分母来自适应调整步长，同时保证非负性。这比普通梯度下降 + ReLU 裁剪更稳定。

交互演示

下面的演示展示了两种分解方式的对比。切换 LSA / NMF 模式，调整话题数 $k$ ，观察分解矩阵和重建误差的变化。注意 NMF 模式下所有矩阵格子都是暖色调（非负），而 LSA 模式可能出现蓝色（负值）。

话题数 k =

X (词-文档)

≈

U_2 (词-话题)

Σ_2

V_2ᵀ (话题-文档)

重建 X̂

重建误差 ||X - X̂||_F = 1.54奇异值 [5.2, 4.6, 1.2, 1.0]

LSA 用截断 SVD 提取话题。拖动 k 观察：k 越大，重建误差越小，但小的奇异值贡献有限。

LSA vs NMF 对比

把两种方法放在一起看：

维度	LSA（截断 SVD）	NMF
数学基础	奇异值分解，Eckart-Young 最优性	非负矩阵分解，乘法更新
约束	正交性（ $U^\top U = I$ ， $V^\top V = I$ ）	非负性（ $W \geq 0$ ， $H \geq 0$ ）
元素取值	实数（可正可负）	非负
全局最优	是（SVD 是闭式解）	否（非凸，局部最优）
可解释性	弱——话题方向难以命名	强——话题是词的「正叠加」
稀疏性	不稀疏（ $U_k$ , $V_k$ 通常稠密）	自然稀疏（很多元素接近零）
唯一性	唯一（奇异值排序固定）	不唯一（依赖初始化）
计算效率	高效（有成熟的稀疏 SVD 算法）	需迭代，较慢
典型用途	信息检索、文档相似度	话题建模、文本挖掘、推荐系统

怎么选？

如果你要做检索或降维，关心的是相似度计算的质量，LSA 更合适——它有最优性保证，且计算快。
如果你要做话题发现，想看到"话题1 = 机器 + 学习 + 模型"这样可读的结果，NMF 更合适——非负约束让每个话题自然呈现为一组相关词的组合。
在实际管线中，两者经常和 TF-IDF 加权配合使用。sklearn.decomposition.TruncatedSVD 和 sklearn.decomposition.NMF 都只需要几行代码。

这个想法在前沿里

LSA 和 NMF 虽然提出于上世纪 90 年代，但它们的核心思想——用矩阵分解发现隐含结构——至今仍然活跃在前沿研究中：

Word2Vec / GloVe 与 LSA —— Levy & Goldberg (2014) 证明 Word2Vec 的 skip-gram 模型等价于对**点互信息矩阵（PMI）**做隐式的矩阵分解。GloVe 更直接：对词共现矩阵做加权分解。从这个视角看，现代词向量是 LSA 的精神继承者——只是换了更好的加权方式和优化算法。
BERT / GPT 的 Embedding 层 —— Transformer 的 token embedding 可以看作一个 $|V| \times d$ 的矩阵，其中 $|V|$ 是词表大小。训练好之后，这个矩阵的低秩结构和 LSA 产生的词表示有相似的几何性质——语义相近的 token 在 embedding 空间里聚在一起。
NMF 在推荐系统中的应用 —— 用户-物品交互矩阵天然非负（评分、点击次数）。NMF 分解后， $W$ 的每一行是用户的偏好画像， $H$ 的每一列是物品的特征画像——都是非负的，可以直接解释为"用户对各话题的喜好程度"。这比 SVD 的负值表示更易于业务理解。
话题模型：从 NMF 到 LDA —— NMF 的非负叠加思想启发了概率话题模型。LDA（Latent Dirichlet Allocation）可以看作 NMF 的概率版本： $W$ 的每一列变成一个词上的概率分布（Dirichlet 先验保证非负归一）， $H$ 的每一列变成话题上的概率分布。
多模态分解 —— NMF 被广泛用于音频信号处理（将频谱图分解为基频模式的叠加）、医学影像分析（将脑区激活模式分解为功能网络）等领域。非负约束在这些场景下同样对应着物理可解释性——你不能有"负的激活强度"。
LoRA 与低秩分解 —— LoRA 微调 $\Delta W = BA$ 本质就是对权重增量做低秩矩阵分解，和本篇讨论的框架一脉相承。

从 LSA 到 Word2Vec 到 BERT，方法在演进，但用低维稠密表示替代高维稀疏表示的基本思想从未改变。