期望最大化算法

所解决的问题与算法的已知量与待求解的未知量

期望最大化的英文是Expectation–maximization（EM）。因此期望最大化算法通常被简称为EM算法。它是一种用于求含有隐变量的概率分布的参数的算法^[1]。

上面这句话含有三个待解释的点：

何为隐变量？观测值中无法观测到的变量但是对观测值却有影响的变量就是隐变量。举个例子：我们知道显示屏的颜色是红绿蓝表示的。现在我们看到显示器显示的是橙色，这个橙色就是观测值。但是事实上它是由红绿蓝三种颜色按照不同强度混合而成。这里的红绿蓝是我们没法直接贯彻到但是又直接影响了观测值，这种变量就叫做隐变量。

概率分布中的参数是指的是什么？在概率统计学中认为任何数据都是一系列概率分布组合而成。而机器学习等算法就需要先假设这些数据服从某个分布，再求这个分布中的未知参数，最终得到产生数据的整体的概率分布。所以这里的参数就是所假设的概率分布的参数。比如我们可以假设某个数据服从正态分布，而正态分布中有两个未知参数，即“均值”和“方差”。只要确定这两个参数就可以确定一个正态分布。EM算法就是一种从数据中分析出所假设的概率分布的未知参数的算法。

EM算法如何求概率分布中的参数？EM算法是采用分步极大似然法来求得所假设的概率分布的参数。

从第2点可以看到期望最大化（EM）算法它提供的是一种算法思想而不是具体实现。因为EM算法可以假设某个数据的子概率分布是正态分布，也可以假设这个数据的子概率分布是均匀分布。不同的分布对应的求解各个概率分布的待求解参数的公式是不一样的。EM算法只提供了求解所假设的各个子概率分布中未知参数的大致流程和思路。