Task4——注意力机制与Seq2seq模型 8.1 注意力机制 所谓的注意力机制，其实就是让系统学会注意力-即关注重点信息忽略无关信息。带有注意力机制的系统，不仅可以自主学习注意力，还可以帮助我们更好的理解神经网络。现在，在计算机视觉当中大多数都是通过掩码来生成注意力，掩码本质上是一组新的权重，可以帮助我们找到需要关注的信息。 目前主要演化出了两种注意力，一种是软注意力，其重点关注的是区域或通道，这种注意力是固定的，可微的；另一种是强注意力，其重点关注的是点，不可微，一般通过强化学习获得。

深度卷积神经网络（AlexNet） LeNet: 在大的真实数据集上的表现并不尽如⼈意。 1.神经网络计算复杂。 2.还没有⼤量深⼊研究参数初始化和⾮凸优化算法等诸多领域。 两派特征提取的观点： 机器学习的特征提取:手工定义的特征提取函数 神经网络的特征提取：通过学习得到数据的多级表征，并逐级表⽰越来越抽象的概念或模式。 AlexNet 首次证明了学习到的特征可以超越⼿⼯设计的特征，从而⼀举打破计算机视觉研究的前状。 特征： 8层变换，其中有5层卷积和2层全连接隐藏层，以及1个全连接输出层。

机器翻译和数据集 机器翻译（MT）：将一段文本从一种语言自动翻译为另一种语言，用神经网络解决这个问题通常称为神经机器翻译（NMT）。 主要特征：输出是单词序列而不是单个单词。 输出序列的长度可能与源序列的长度不同。 数据预处理 将数据集清洗、转化为神经网络的输入minbatch。数据预处理的过程中，我们首先需要对数据进行清洗。 分词 字符串—单词组成的列表。 建立词典 单词组成的列表—单词id组成的列表。 注意力机制 当输入的维度大于2时，默认情况下，Dense实例会将除了第一维（样本维）以外的

注意这里的bh维度为 1 * h,计算时使用广播机制，进行计算 所以引入激活函数 %matplotlib inline import tensorflow as tf from matplotlib import pyplot as plt import numpy as np import random def use_svg_display(): # 用矢量图显示 %config InlineBackend.figure_format = 'svg' def set_fi