1.卷积神经网络基础 卷积其实就是将许多部分的信息进行压缩，在过大维度矩阵的情况下，因为存在过多的信息 第一是为运算上带来了很多麻烦 第二是类似拿着显微镜看一幅画，难以捕捉其整体的信息。通过互相关运算将画拿远，慢慢感受他整体的信息。所以应该在卷积神经网络中把大矩阵缩小多少次，缩小到什么程度应该是个相当关键的问题。只有在能看清具体信息但又能把握整体信息的情况下，才能得到对图像更清楚地把握。 通过感受野这个概念能发现，经过互相关运算或者卷积运算之后的矩阵，应该每个位置都综合了之前感受野中的信息，所以

《动手学深度学习》pytorch版笔记2 Task3 过拟合、欠拟合及其解决方案 这部分内容比较简单，写下问题吧，再挖几个坑 1.模型复杂度如何改变，三阶到一阶等 2.L2范数正则化为什么是权重衰减的一种方式？ 梯度消失，梯度爆炸 1.初始化过程 2.标签偏移的概念 3.数据处理过程 循环神经网络进阶 GRU，LSTM中的门结构实现起来还挺复杂的，有空再自己实现一遍吧。另外深度循环神经网络貌似叫多层循环神经网络，印象中一般不会堆叠很多层，有空再研究一下吧 Task4 机器翻译及相关技术 机器翻

一 过拟合、欠拟合及其解决方案 欠拟合（underfitting）： 一类是模型无法得到较低的训练误差，我们将这一现象称作 过拟合（overfitting）：模型的训练误差远小于它在测试数据集上的误差，我们称该现象为。 在实践中，我们要尽可能同时应对欠拟合和过拟合。两个主要影响因素：模型复杂度和训练数据集大小。模型复杂度过低会导致欠拟合，过高则导致过拟合，训练数据集过小容易发生过拟合。因此需选取适当的模型复杂度和计算能力范围内可以承受的较大训练数据集。 解决方案 1 权重衰减 权重衰减等价于 L