「2019-9」【每周分享】高科技，深度神经网络。

假设我们要编码 A（INPUT）的右下角，那被指向的 C1（第二个框）的点就代表了 A 被选出的区域。C1 一共有 6 张，每张的同一个位置都在编码这个区域。S2（第三个框）是池化层，对上一层（C1 ）进行简化。C2 上有一个小框指向 S2，说明这块区被简化。S2 又被选出一块指向 C3（第四个框），表示这块区域在C3上被编码。

全连接层用几个数字表示一块区域。F6（右二）用 84 个数据来代表前面的 120 个数据，最后 OUTPUT 则为输出 10 个数据，这 10 个数据就代表了一开始的 A。（此处应有掌声！！！）

卷积相当于两个图像之间、像素点与像素点之间一一对应的乘法，再进行求和。

图形处理器-GPU（Graphics ProcessingUnit）

由于采用多层的神经网络，且每一层的结果都是一个高维的特征图像，所以计算量也相当大，在 AlexNet 中就需要确定 6 千万个参数来确定这个网络。

那么多的网络光靠 CPU 可能算不来，只能借助 GPU 来计算。GPU是什么呢？

登录/注册后可看帖子

image013.jpg (17.21 KB, 下载次数: 1)

下载附件保存到相册

2019-4-22 14:48 上传

CPU 只有 8 个可以计算的核，一次只能运行 8 个进程，而 GPU 中带有成百上千个核，一次可以进行成百上千次计算（也叫并行计算），可以确定网络和参数。

更深更精确的网络：GoogleNet 与 VGGNet

2014 年，又诞生了两种经典的深度神经网络，GoogleNet 和 VGGNet。他们都是基于卷积神经网络的深度神经网络，和 AlexNet 的基本原理基本一致。这两个网络除了深度不一样，自身也各有特色。

GoogleNet

网络参数量过多会导致训练时的效果好，但测试时的效果差（这也叫过拟合现象），GoogleNet 可以解决这个问题。它采用了“InceptionModule”卷积结构，可以得到一个稀疏的网络结构来缓解这种现象，提高测试时的准确率。

登录/注册后可看帖子

image014.png (31.44 KB, 下载次数: 1)

下载附件保存到相册

2019-4-22 14:48 上传

其总的架构如下图：

登录/注册后可看帖子

image015.jpg (106.28 KB, 下载次数: 1)

下载附件保存到相册

2019-4-22 14:48 上传

VGGNet

和 GoogleNet 不一样的是，VGGNet 采用了更传统的卷积神经网络，结构也比较简单。其卷积核全部采用了小卷积核，可以尽量减少参数的数量和计算量。

登录/注册后可看帖子

image016.jpg (35.57 KB, 下载次数: 1)

下载附件保存到相册

2019-4-22 14:48 上传

这两种网络都将错误率降低至 7.5% 以下，但是仍然和人类的错误率有一点差距。

理论上，在一定的深度范围内，网络越深，准确率就会越高（这点在 VGG 的论文中有实验的证明，文末附有相关阅读）。但若超出范围，即使网络再深下去，准确率也没有明显提高。那么，网络深度真的到头了么？

将网络深度发挥到极致：ResNet

事实证明并没有。2015 年，ILSVRC 中一个更深的网络诞生了——ResNet。

ResNet 的网络基本原理和卷积神经网络一样，但直接将原来最深 22 层的深度神经网络扩展到了 152 层。下图最右边的是一个较浅层的 ResNet-34 网络。

ResNet-34 网络的卷积核基本都和 VGGNet 一样采用小卷积核，它最大的特点是用到了余项函数，在两层的卷积层之间有直接的神经网络连接。这样的好处是，当我们使用反向传播算法来计算卷积层变化率时，梯度变化不会减小到 0。

梯度也是偏微分，它越大就说明需要越大的力度优化网络，所以我们要不断地减小梯度，但若小到等于 0，它就相当于无效了。

ResNet 的诞生也得益于 GPU 的并行计算越来越先进，GPU 的显存从原来的 4G 级别扩展到了 12G 级别，可以完成更大的计算量。

登录/注册后可看帖子

image017.jpg (14.21 KB, 下载次数: 1)

下载附件保存到相册

2019-4-22 14:48 上传

ResNet 的图像识别错误率低至 3.6%，这是什么概念？这么说吧，人类测试的错误率是 5%，也就是人工智能比人类更智能了！

无监督学习的实例：GAN 网络

以上的深度学习方法都是监督学习，笼统地说，就是给计算机一些例子和答案，让它去学习。但有时，例子根本就没有答案，这就需要用到无监督学习了。最近比较受瞩目的是 GAN（生成对抗网络），它不属于图像识别，而是可以生成图像！

登录/注册后可看帖子

image018.jpg (21.85 KB, 下载次数: 1)

下载附件保存到相册

2019-4-22 14:48 上传

一般别人只使用单个的深层神经网络，而 GAN 用了两个相互竞争的网络，互相通过零和游戏进行竞争，最后还会给出判定，如果一方胜利，那另一方就失败。

这两个网络如何“画”出我们想要的图像呢？

假设我们要生成一个艺术风格的图像，这两个网络就可以看作是生成器和判别器。生成器的任务就是生成一个艺术的图像，判别器的任务就是判断这个图像到底艺不艺术。

登录/注册后可看帖子

image019.jpg (45.8 KB, 下载次数: 1)

下载附件保存到相册

2019-4-22 14:48 上传

GAN 完成训练的标志就是，它无法相对于另一个网络取得进步（就是没办法画得更好了！）。完成得最理想的效果就是，判别器没办法区分出真实的数据和生成器产生的数据。

另一个经典的例子是合成鸟的照片，文末依然有相关阅读嘿嘿。

登录/注册后可看帖子

image020.jpg (85.08 KB, 下载次数: 1)

下载附件保存到相册

2019-4-22 14:48 上传

GAN 的对抗其实和人类很像。比如熊孩子在学写字，老师在旁边检查，那熊孩子就是生成器，老师就是判别器。如果有一天，老师再也挑不出熊孩子写字的毛病了，熊孩子就荣升乖孩子，写字训练就结束了。

登录/注册后可看帖子

image021.jpg (60.9 KB, 下载次数: 1)

下载附件保存到相册

2019-4-22 14:48 上传

深度学习的运用

比较常见的深度学习应用就是图像识别。在监控领域，我们可以自动识别人脸和汽车，人脸识别也是用了深度学习之后才有较高的准确率。

登录/注册后可看帖子

花师小哲 · 2019-4-22 15:24:05

作为智能系的同学，我觉得讲的挺好的。

快拆小分队 · 2019-4-22 17:23:51

ai来了

Dior · 2019-4-22 20:35:27

支持一下大佬，顺便酸一下

YT_8426 · 2020-2-24 01:47:35

支持大佬！

[官方开源] 「2019-9」【每周分享】高科技，深度神经网络。

马上注册，玩转Robomaster！

[官方开源] 「2019-9」【每周分享】高科技，深度神经网络。

[官方开源] 「2019-9」【每周分享】高科技，深度神经网络。

[官方开源] 「2019-9」【每周分享】高科技，深度神经网络。

[官方开源] 「2019-9」【每周分享】高科技，深度神经网络。