AlexNet模型是Hinton的学生Alex Krizhevsky在2012年提出来的。AlexNet包含了几个比较新的技术点，也首次在CNN中成功应用了ReLU、Dropout和LRN等Trick。 AlexNet主要使用的新技术点如下： （1）成功使用ReLU作为CNN的激活函数，并验证其效果在较深的网络超过了sigmoid，解决了sigmoid在网络较深时的梯度弥散问题。 （2）训练时使用dropout随机忽略一部分神经元，以避免过拟合，主要是最后几个全连接层使用了dropout。 （3

图像增广¶在5.6节（深度卷积神经网络）里我们提到过，大规模数据集是成功应用深度神经网络的前提。图像增广（image augmentation）技术通过对训练图像做一系列随机改变，来产生相似但又不同的训练样本，从而扩大训练数据集的规模。图像增广的另一种解释是，随机改变训练样本可以降低模型对某些属性的依赖，从而提高模型的泛化能力。例如，我们可以对图像进行不同方式的裁剪，使感兴趣的物体出现在不同位置，从而减轻模型对物体出现位置的依赖性。我们也可以调整亮度、色彩等因素来降低模型对色彩的敏感度。可以说，

在LeNet提出后的将近20年里，神经网络一度被其他机器学习方法超越，如支持向量机。虽然LeNet可以在早期的小数据集上取得好的成绩，但是在更大的真实数据集上的表现并不尽如人意。 神经网络计算复杂。虽然20世纪90年代也有过一些针对神经网络的加速硬件，但并没有像之后GPU那样大量普及。因此，训练一个多通道、多层和有大量参数的卷积神经网络在当年很难完成。 当年研究者还没有大量深入研究参数初始化和非凸优化算法等诸多领域，导致复杂的神经网络的训练通常较困难。 我们在上一节看到，神经网络可以直接基于图像

深度学习TensorFlow2.0 前言 在这个项目中，我将使用谷歌TensorFlow2.0框架逐一重现经典的卷积神经网络：LeNet-5，AlexNet，VGG系列，GooLeNet，ResNet系列，DenseNet系列，以及现在比较流行的：RCNN系列，SSD ，YOLO系列等。 教程目录 图像分类任务1.手写数字识别FirstNet（已​​完成） 2.快速建造卷积网络FastNet（已​​完成） 3. LeNet-5（已完成） 4. AlexNet（已​​完成） 5. VGG系列（已完