全连接网络

贡献者： xzllxls

未完成：本文处于草稿阶段。

预备知识　神经网络

　　 全连接网络（Fully-connected neural network, FCNN）是由一系列全连接层组成的深度神经网络，是深度学习中的基本架构。全连接层的特点是相邻两层的任意两个神经元之间均有连接。可以说全连接网络是多层感知机的加深版本。

　　特别是，我们探索了完全连接的架构是能够学习任何函数的 “通用逼近器” 的概念。这个概念提供了对全连接架构的普遍性的解释，但也带来了我们在一定深度讨论的许多注意事项。

　　虽然结构不可知论使得全连接网络具有非常广泛的适用性，但此类网络的性能往往比针对问题空间结构调整的专用网络要弱。

图 1：全连接层 [1]

　　图 1 表示的是一个全连接层。

　　假设一个全连接层有 $m$ 个输入神经元，分别记为：$x_1$, $x_2$, ..., $x_m$，以及 $n$ 个输出神经元，分别记为 $y_1$, $y_2$, ..., $y_n$, 从第 $i$ 个输入神经元到第 $j$ 个输出神经元的连接的权值为 $w_{i,j}$。那么，第 $j$ 个输出神经元输出的值为：

\begin{equation} y_j=g(w_{1,j}x_1+w_{2,j}x_2+...+w_{m,j}x_m)~ \end{equation}

其中，$g$ 为激活函数。

图 2：全连接网络 [1]

　　图 2 表示的是一个全连接网络，其结构是由全连接层堆叠而成。

　　全连接网络可以用于处理一维数据，也可以处理二维甚至高维数据。比如，在图像处理中就有不少应用。一张图像可以视为一个二维数据。假设一组图像数据。

　　 参考文献

https://www.oreilly.com/library/view/tensorflow-for-deep/9781491980446/ch04.html

致读者：小时百科一直以来坚持所有内容免费，这导致我们处于严重的亏损状态。长此以往很可能会最终导致我们不得不选择大量广告以及内容付费等。因此，我们请求广大读者热心打赏 ，使网站得以健康发展。如果看到这条信息的每位读者能慷慨打赏 10 元，我们一个星期内就能脱离亏损，并保证在接下来的一整年里向所有读者继续免费提供优质内容。但遗憾的是只有不到 1% 的读者愿意捐款，他们的付出帮助了 99% 的读者免费获取知识，我们在此表示感谢。