【模式识别】非参数估计

本章讨论的是非参数估计。很多时候我们无法给出样本分布的函数形式，也就无法使用根据样本估计函数参数的思路。
非参数估计的思想是，直接根据样本，用数值方法估计出整个分布函数。

非参数估计的基本原理

还记得用频率估计概率的经典思想吗！假设你掷了1000次硬币，发现有489次正面朝上，那么你估计掷这枚硬币正面朝上的概率是0.489，或者近似地，概率约为0.5。

现在我们来考虑更复杂一点的情况，要估计的不是某个概率数值，而是样本分布的概率密度函数。考虑概率密度的性质：概率密度函数在区间$[x,x+\Delta x]$下的面积即为样本落在区间$[x,x+\Delta x]$内的概率。
表述的更抽象一点，我们要估样本出现在面积为$V$的一个小区域$R$中的概率，这里的$R$就相当于上面例子中的区间$[x,x+\Delta x]$，$V=\Delta x$。

总样本数为$n$，落到小区域$R$内的样本数为$k$时，如果区域面积$V$合适地小，我们就可以认为在$R$区域内的概率密度是一个常数：

直方图方法

直方图方法非常简单，可以理解为近似的用直方图的形状取描述概率密度函数。

不过，在样本数量并非无限时，如果小舱（直方图组距）过大，那么最终估计出的密度函数就非常粗糙；如果过小，那么有的小舱内可能没有样本，估计出的概率密度函数很不连续。

k近邻估计

kNN的全称是k Nearest Neighbors，意思是K个最近的邻居。基本做法是：根据样本总数确定一个参数$k_n$，例如样本总数为$n$时，可以取

在求$x$处的密度估计$\hat{P}(x)$时，通过调整包含$x$的小舱体积，直到小舱内恰好落入$k_n$个样本。此时有：

使用kNN方法时，样本密度较高的地方小舱体积会比较小，而样本密度低的地方小舱体积自动增大。这样可以兼顾高密度区域的分辨率和低密度区域的连续性。

Parzen窗法

在这种方法中，我们会定义一个核函数（也称窗函数）$K(x,x_i)$，其含义是，一个观测样本$x_i$对在$x$处概率密度估计的贡献。概率密度估计就是在每一点上把所有观测样本的贡献进行平均，即：

窗函数只需要本身满足概率密度函数的要求即可：

$K(x,x_i)>0$且$\int K(x,x_i)dx=1$

下面列举几种常见的窗函数。上文中样本都简单地用$x$表示，下面仍然回到最一般的情况：
假设样本有$d$个维度，记样本为$\mathbf{X}=[x_1,x_2,\dots ,x_d{]}^T$。

方窗范围可以看作以${\mathbf{X}}_i$为中心的超立方体，其代表窗口大小的参数是立方体棱长$h$。

高斯窗范围即以样本${\mathbf{X}}_i$为均值，协方差矩阵为$\mathbf{\Sigma }={\rho }^2\mathbf{Q}$的正态分布。

一维情况下有：

超球窗范围可以看作以${\mathbf{X}}_i$为中心的超球体，体积为$V$，半径为$r$。

下面是在样本数和平滑参数不同时，使用方窗和高斯窗的估计结果：

下面是取$\sigma =\frac{32}{\sqrt{n}}$的高斯窗的估计结果：