全连接网络
贡献者： xzllxls
未完成：本文处于草稿阶段。
全连接网络（Fully-connected neural network, FCNN）是由一系列全连接层组成的深度神经网络，是深度学习中的基本架构。全连接层的特点是相邻两层的任意两个神经元之间均有连接。可以说全连接网络是多层感知机的加深版本。
特别是，我们探索了完全连接的架构是能够学习任何函数的 “通用逼近器” 的概念。这个概念提供了对全连接架构的普遍性的解释，但也带来了我们在一定深度讨论的许多注意事项。
虽然结构不可知论使得全连接网络具有非常广泛的适用性，但此类网络的性能往往比针对问题空间结构调整的专用网络要弱。
图 1：全连接层 [1]
图 1 表示的是一个全连接层。
假设一个全连接层有 $m$ 个输入神经元，分别记为：$x_1$, $x_2$, ..., $x_m$，以及 $n$ 个输出神经元，分别记为 $y_1$, $y_2$, ..., $y_n$, 从第 $i$ 个输入神经元到第 $j$ 个输出神经元的连接的权值为 $w_{i,j}$。那么，第 $j$ 个输出神经元输出的值为：
\begin{equation}
y_j=g(w_{1,j}x_1+w_{2,j}x_2+...+w_{m,j}x_m)~
\end{equation}
图 2：全连接网络 [1]
图 2 表示的是一个全连接网络，其结构是由全连接层堆叠而成。
全连接网络可以用于处理一维数据，也可以处理二维甚至高维数据。比如，在图像处理中就有不少应用。一张图像可以视为一个二维数据。假设一组图像数据。
参考文献
- https://www.oreilly.com/library/view/tensorflow-for-deep/9781491980446/ch04.html