自编码器

贡献者： xzllxls

预备知识　函数（高中），条件概率与事件的独立性（高中），神经网络

　　 自编码器（Autoencoder）是一种将输入数据映射为自身的神经网络模型。从输入和输出端来看，自编码器相当于是把输入数据复制到输出。

　　自编码器一般包含两个部分：一个编码器（Encoder）和一个解码器（Decoder）.编码器将输入数据映射到一个内隐空间，数学表达式为 $\boldsymbol{h}=f(\boldsymbol{x})$。内隐空间在网络结构中由一个内隐层实现。解码器的作用是数据重构，将内隐空间的特征重新映射回数据，数学表达式为 $\boldsymbol{r}=g(\boldsymbol{h})$.整个自编码器，可以表示为：$g(f(\boldsymbol{x}))=\boldsymbol{x}$.

　　神经网络的自编码器推广了传统编码和解码的思想。传统编码解码是基于确定性函数的，而神经网络中的自编码器则是一种概率性关系。自编码器的目标是学习两个条件概率：编码器 $p_{encoder}(\boldsymbol{h}|\boldsymbol{x})$ 和解码器 $p_{decoder}(\boldsymbol{x}|\boldsymbol{h})$ [1] .

图 1：自编码器基本结构示意图 [1]

　　自编码器的类型主要有：欠完备自编码器（Undercomplete Autoencoders）、正则自编码器（Regularized Autoencoders）等。其中，正则自编码器包括稀疏自编码器（Sparse Autoencoders）和去躁自编码器（Denoising Autoencoders）。另外，有一类应用较为广泛的自编码器——变分自编码器（Variational Autoencoders）[1]。

　　自编码器也是一种生成模型，可以随机生成与训练集输入数据类似的新的数据。

[1] ^ I. Goodfellow, Y. Bengio, and A. Courville, Deep learning. MIT press, 2016.

致读者：小时百科一直以来坚持所有内容免费无广告，这导致我们处于严重的亏损状态。长此以往很可能会最终导致我们不得不选择大量广告以及内容付费等。因此，我们请求广大读者热心打赏 ，使网站得以健康发展。如果看到这条信息的每位读者能慷慨打赏 20 元，我们一周就能脱离亏损，并在接下来的一年里向所有读者继续免费提供优质内容。但遗憾的是只有不到 1% 的读者愿意捐款，他们的付出帮助了 99% 的读者免费获取知识，我们在此表示感谢。