1.机器翻译及相关技术 机器翻译（MT）：将一段文本从一种语言自动翻译为另一种语言，用神经网络解决这个问题通常称为神经机器翻译（NMT）。 主要特征：输出是单词序列而不是单个单词。 输出序列的长度可能与源序列的长度不同。 主要步骤： 1. 数据预处理 2.分词 3.建立词典 Sequence to Sequence模型： 2.注意力机制与Seq2seq模型 a.点注意力机制与多层感知机注意力机制 b.引入注意力机制的Seq2seq模型:将注意机制添加到sequence to sequence

– 机器翻译 – 机器翻译与数据集 – 机器翻译 顾名思义，机器翻译就是将一段文本从一种语言翻译到另外一种语言，简称MT，而利用神经网络解决这个问题就被称为神经机器翻译（NMT）。 特征主要是输出是单词序列而不是单个单词。 输出序列的长度可能与源序列的长度不同。 – 数据预处理 将数据集清洗、转化为神经网络的输入minbatch with open('/home/kesci/input/fraeng6506/fra.txt', 'r') as f: raw_text = f.read

文本预处理 1、概述 文本数据：有用内容和无用内容 文章：单词、符号、空格、乱码等 思想：我们需要对无用信息进行过滤，而计算机无法直接处理单词等有用信息，我们需要把他们转换成数字。将单词映射到不同的数字，可以考虑用列表，如data=[‘ni’, ‘hao’]，我们就可以用data[0]，data[1]来表示 单词内容，这就是索引到单词，然后 ‘ni hao’我们可以表示成’01’，这就是单词到索引，通过建立单词与数字的关系来进行互相的映射，这是文本预处理的核心思想 预处理的步骤： 1、读文本（计

一 机器翻译及相关技术 机器翻译（MT）：将一段文本从一种语言自动翻译为另一种语言，用神经网络解决这个问题通常称为神经机器翻译（NMT）。 主要特征：输出是单词序列而不是单个单词。 输出序列的长度可能与源序列的长度不同。 首先进行数据预处理，将数据集清洗、转化为神经网络的输入的minbatch，包括分词、建立字典、载入数据集。 Encoder-Decoder 一种通用模型框架。Encoder：编码器，从输入到隐藏状态 Decoder：解码器，从隐藏状态到输出。 特点：输入输出的长度可以不相等。不