伯禹公益AI《动手学深度学习PyTorch版》Task 05 学习笔记 Task 05：卷积神经网络基础；LeNet；卷积神经网络进阶 微信昵称：WarmIce 昨天打了一天的《大革命》，真挺好玩的。不过讲道理，里面有的剧情有点为了“动作”而“动作”，颇没意思。但是Ubi的故事还是讲得一如既往得好。 言归正传，这3节课，前两节没什么意思，充其量复习了计算卷积层输出的特征图大小的公式： $ \mathbf{floor}((in_size + padding – kernel_size)/stri

一、学习任务： Task03：过拟合、欠拟合及其解决方案；梯度消失、梯度爆炸；循环神经网络进阶 Task04：机器翻译及相关技术；注意力机制与Seq2seq模型；Transformer Task05：卷积神经网络基础；leNet；卷积神经网络进阶 二、学习要点 2.1 过拟合、欠拟合及其解决方案 过拟合：太过贴近于训练数据的特征了，在训练集上表现非常优秀，近乎完美的预测/区分了所有的数据，但是在新的测试集上却表现平平 欠拟合：样本不够或者算法不精确，测试样本特性没有学到，不具泛化性，拿到新样本后

卷积神经网络基础；leNet；卷积神经网络进阶卷积神经网络基础二位互相关运算二维卷积层互相关运算与卷积运算特征图与感受野填充和步幅填充：在输入的高宽两侧填充元素，通常填充0。步幅：卷积核在输入数组上每次滑动的行数列数。多输入通道和多输出通道1×11×11×1卷积层池化LeNetLeNet模型卷积神经网络进阶AlexNet使用重复元素的网络（VGG）网络中的网络（NIN）GoogleNet 卷积神经网络基础 介绍的是最常见的二维卷积层，常用于处理图像数据。 二位互相关运算 卷积核数组在输入数组上

Task04 ：卷积神经网络基础；leNet；卷积神经网络进阶 1.卷积神经网络基础 下面是一些卷积神经网络的基本概念： 二维互相关运算 二维互相关（cross-correlation）运算的输入是一个二维输入数组和一个二维核（kernel）数组，输出也是一个二维数组，其中核数组通常称为卷积核或过滤器（filter）。卷积核的尺寸通常小于输入数组，卷积核在输入数组上滑动，在每个位置上，卷积核与该位置处的输入子数组按元素相乘并求和，得到输出数组中相应位置的元素。图1展示了一个互相关运算的例子，阴影