Score Matching论文解读

论文链接：Estimation of Non-Normalized Statistical Models by Score Matching

论文的思路很清晰流畅，这里基本只是翻译了一遍

Introduction

在很多情况下，机器学习的概率模型都是以非归一化的形式给出的，即未知的归一化常量难以计算

假设随机变量$x\in R^n$的概率密度函数为$p_x(\cdot)$，且我们有参数化的概率模型$p(\cdot;\theta)$，我们希望通过样本$X$对$\theta$进行参数估计，并使用$p(\cdot;\hat{\theta})$来近似$p_x(\cdot)$

我们关注的问题是，模型只能以给出$p(\cdot;\theta)$的非归一化形式

$$p(\boldsymbol{\xi} ; \boldsymbol{\theta})=\frac{1}{Z(\boldsymbol{\theta})} q(\boldsymbol{\xi} ; \boldsymbol{\theta})$$

即我们只知道$q$的解析表示，而归一化常数$Z(\theta)$难以通过其积分定义式解析计算，高维情况下甚至数值计算也不可行

$$Z(\boldsymbol{\theta})=\int_{\boldsymbol{\xi} \in \mathbb{R}^n} q(\boldsymbol{\xi} ; \boldsymbol{\theta}) d \boldsymbol{\xi}$$

通常非归一化模型的估计只能使用较慢的MCMC或一些不太精确的近似方法

因此该论文提出了一种称为Score Matching的简单方法对非归一化模型进行估计

Estimation by Score Matching

我们将数据的对数概率密度的梯度(the gradient of the log-density with respect to the data vector)称为Score Function，并记为$\boldsymbol{\psi}(\boldsymbol{\xi} ; \boldsymbol{\theta})$，即

$$\boldsymbol{\psi}(\boldsymbol{\xi} ; \boldsymbol{\theta})=\left(\begin{array}{c}\frac{\partial \log p(\boldsymbol{\xi} ; \boldsymbol{\theta})}{\partial \xi_1} \\ \vdots \\ \frac{\partial \log p(\boldsymbol{\xi} ; \boldsymbol{\theta})}{\partial \xi_n}\end{array}\right)=\left(\begin{array}{c}\psi_1(\boldsymbol{\xi} ; \boldsymbol{\theta}) \\ \vdots \\ \psi_n(\boldsymbol{\xi} ; \boldsymbol{\theta})\end{array}\right)=\nabla_{\boldsymbol{\xi}} \log p(\boldsymbol{\xi} ; \boldsymbol{\theta})$$

类似的，记$\boldsymbol{\psi}{\mathbf{x}}(\cdot)=\nabla{\boldsymbol{\xi}} \log p_{\mathbf{x}}(\cdot)$表示观测数据$x$的分布的score function

模型的估计通过最小化model score function $\boldsymbol{\psi}(\cdot;\boldsymbol{\theta})$ 和data score function $\boldsymbol{\psi}_X(\cdot;\boldsymbol{\theta})$之间的期望平方距离实现，其中平方距离定义为

$$J(\boldsymbol{\theta})=\frac{1}{2} \int_{\boldsymbol{\xi} \in \mathbb{R}^n} p_{\mathbf{x}}(\boldsymbol{\xi})\left\|\boldsymbol{\psi}(\boldsymbol{\xi} ; \boldsymbol{\theta})-\boldsymbol{\psi}_{\mathbf{x}}(\boldsymbol{\xi})\right\|^2 d \boldsymbol{\xi}$$

由此，参数$\theta$的Score Matching估计由下式给出

$$\hat{\boldsymbol{\theta}}=\arg \min _{\boldsymbol{\theta}} J(\boldsymbol{\theta})$$

此时的Score Matching估计仍然是难以进行的，因为我们需要使用观测样本对data score function $\boldsymbol{\psi}_{\mathbf{x}}$ 进行估计，这是一个比较困难的非参数估计问题，我们引入一个定理来避开这个问题

定理1：假设model score function $\boldsymbol{\psi}(\cdot;\boldsymbol{\theta})$ 可微，且满足一些弱正则条件(见论文脚注)，则$J$可表示为

$$J(\boldsymbol{\theta})=\int_{\boldsymbol{\xi} \in \mathbb{R}^n} p_{\mathbf{x}}(\boldsymbol{\xi}) \sum_{i=1}^n\left[\partial_i \psi_i(\boldsymbol{\xi} ; \boldsymbol{\theta})+\frac{1}{2} \psi_i(\boldsymbol{\xi} ; \boldsymbol{\theta})^2\right] d \boldsymbol{\xi}+ C$$

其中常数$C$不依赖于$\theta$，

$$\psi_i(\boldsymbol{\xi} ; \boldsymbol{\theta})=\frac{\partial \log q(\boldsymbol{\xi} ; \boldsymbol{\theta})}{\partial \xi_i}$$

是model score function的第$i$个元素，且

$$\partial_i \psi_i(\boldsymbol{\xi} ; \boldsymbol{\theta})=\frac{\partial \psi_i(\boldsymbol{\xi} ; \boldsymbol{\theta})}{\partial \xi_i}=\frac{\partial^2 \log q(\boldsymbol{\xi} ; \boldsymbol{\theta})}{\partial \xi_i^2}$$

是其相对于第$i$个变量的偏微分

该定理的证明在论文附录中给出

实际应用中，假设有$T$个随机变量$x$的观测样本，记为$x(1),…,x(T)$，则根据该定理的结果可得$J$的采样版本

$$\tilde{J}(\boldsymbol{\theta})=\frac{1}{T} \sum_{t=1}^{T} \sum_{i=1}^{n}\left[\partial_{i} \psi_{i}(\mathbf{x}(t) ; \boldsymbol{\theta})+\frac{1}{2} \psi_{i}(\mathbf{x}(t) ; \boldsymbol{\theta})^{2}\right]+ C$$

根据大数定律，$\tilde{J}(\boldsymbol{\theta})$渐进等价于$J(\boldsymbol{\theta})$

现在我们来考虑Score Matching Emstimator的合理性

如果两个不同的 $\theta$ 值会导出相同的的PDF，则称该模型是退化的，此时显然无法估计$\theta$

我们假设模型不是退化的，且总有$q>0$，则如下定理表明Score Matching Emstimator具有局部一致性

定理2：假设对于某些$\theta^$，$x$的PDF满足$p_x(\cdot)=p(\cdot;\theta^)$，且没有其他参数值可以导出与$p(\cdot;\theta^*)$相同的概率密度函数，且对于所有$\xi,\theta$都有$q(\xi;\theta)>0$，则

$$J(\boldsymbol{\theta})=0 \Leftrightarrow \boldsymbol{\theta}=\boldsymbol{\theta^*}$$

该定理的证明在论文附录中给出

推论3：基于前述定理，通过最小化$\tilde{J}$得到的Score Matching估计是一致的，即假设算法能找到全局最小值，且当样本数趋于无穷时，其在概率上收敛于$\theta$的真实值

这个推论得到的一致性假设$\tilde{J}$的全局最小值可以被优化算法找到，但实际中常常可能含有多个局部的极小值，因此Score Matching估计的一致性是局部的

多元高斯密度估计

多元高斯分布的PDF为

$$P(\mathbf{x};\mathbf{M},\boldsymbol{\mu})=\frac{1}{Z(\mathbf{M},\boldsymbol{\mu})}q(\mathbf{x};\mathbf{M},\boldsymbol{\mu})=\frac{1}{Z(\mathbf{M},\boldsymbol{\mu})}\exp\left(-\frac{1}{2}(\mathbf{x}-\boldsymbol{\mu})^T\mathbf{M}(\mathbf{x}-\boldsymbol{\mu})\right)$$

其中$M=\Sigma^{-1}$是协方差矩阵的逆，为对称正定矩阵，$x$为$n$维向量，我们有

$$\boldsymbol{\psi}(\mathbf{x} ; \mathbf{M},\boldsymbol{\mu})=-\mathbf{M}(\mathbf{x}-\boldsymbol{\mu})$$

以及

$$\partial_i\boldsymbol{\psi}(\mathbf{x} ; \mathbf{M},\boldsymbol{\mu})=-m_{ii}$$

因此可得

$$\tilde{J}(\mathbf{M},\boldsymbol{\mu})=\frac{1}{T}\sum_{t=1}^T\left[\sum_i-m_{ii}+\frac{1}{2}(\mathbf{x}(t)-\boldsymbol{\mu})^T\mathbf{M}\mathbf{M}(\mathbf{x}(t)-\boldsymbol{\mu})\right]$$

首先对$\mu$进行微分

$$\nabla_{\boldsymbol{\mu}} \tilde{J}=\mathbf{M M} \boldsymbol{\mu}-\mathbf{M M} \frac{1}{T} \sum_{t=1}^{T} \mathbf{x}(t)$$

显然$\mu$为样本均值时该式为0，即

$$\boldsymbol{\mu}=\frac{1}{T} \sum_{t=1}^{T} \mathbf{x}(t)$$

再对$M$进行微分

$$\nabla_{\boldsymbol{\mu}} \tilde{J}=-\mathbf{I}+ \frac{1}{2T} \mathbf{M}\sum_{t=1}^{T}(\mathbf{x}(t)-\boldsymbol{\mu})(\mathbf{x}(t)-\boldsymbol{\mu})^{T}+\frac{1}{2 T}\left[\sum_{t=1}^{T}(\mathbf{x}(t)-\boldsymbol{\mu})(\mathbf{x}(t)-\boldsymbol{\mu})^{T}\right] \mathbf{M}$$

当且仅当$M$为样本协方差矩阵的逆时该式为0，即

$$\mathbf{M}^{-1}=\sum_{t=1}^{T}(\mathbf{x}(t)-\boldsymbol{\mu})(\mathbf{x}(t)-\boldsymbol{\mu})^{T}$$

可以发现Score Matching估计的结果与极大似然估计是一致的

后面还有一些其他分布的例子，不一一说明了