伯禹公益AI《动手学深度学习PyTorch版》Task 05 学习笔记 Task 05：卷积神经网络基础；LeNet；卷积神经网络进阶 微信昵称：WarmIce 昨天打了一天的《大革命》，真挺好玩的。不过讲道理，里面有的剧情有点为了“动作”而“动作”，颇没意思。但是Ubi的故事还是讲得一如既往得好。 言归正传，这3节课，前两节没什么意思，充其量复习了计算卷积层输出的特征图大小的公式： $ \mathbf{floor}((in_size + padding – kernel_size)/stri

卷积神经网络基础 二维卷积层 二维互相关运算 二维互相关（cross-correlation）运算的输入是一个二维输入数组和一个二维核（kernel）数组，输出也是一个二维数组，其中核数组通常称为卷积核或过滤器（filter）。卷积核的尺寸通常小于输入数组，卷积核在输入数组上滑动，在每个位置上，卷积核与该位置处的输入子数组按元素相乘并求和，得到输出数组中相应位置的元素。图1展示了一个互相关运算的例子，阴影部分分别是输入的第一个计算区域、核数组以及对应的输出。 二维卷积层 class Conv

卷积神经网络 神经网络结构： 卷积神经网络是神经网络模型的改进版本，依旧是层级网络，只是层的功能和形式做了变化，如： 卷积神经网络的层级结构 • 数据输入层/ Input layer 　　• 卷积计算层/ CONV layer 　　• ReLU激励层 / ReLU layer 　　• 池化层 / Pooling layer 　　• 全连接层 / FC layer 卷积计算层 这一层就是卷积神经网络最重要的一个层次，也是“卷积神经网络”的名字来源。 在这个卷积层，有两个关键操作： 　　• 局部关

节选自“ElitesAI·动手学深度学习PyTorch版” Task03：过拟合、欠拟合及其解决方案；梯度消失、梯度爆炸；循环神经网络进阶（1天） Task04：机器翻译及相关技术；注意力机制与Seq2seq模型；Transformer（1天） Task05：卷积神经网络基础；leNet；卷积神经网络进阶（1天） 过拟合、欠拟合及其解决方案 过拟合、欠拟合的概念 权重衰减 丢弃法 模型选择、过拟合和欠拟合 训练误差和泛化误差 在解释上述现象之前，我们需要区分训练误差（training err