多层感知机(MLP,Multilayer Perceptron)也叫人工神经网络(ANN,Artificial Neural Network),除了输入输出层,它中间可以有多个隐层,最简单的MLP只含一个隐层,即三层的结构,如下图最简单的MLP:
上图模型pyTorch代码:
import torch
from torch.nn import functional as F
x = torch.randn(1, 10) # 输入x的特征有10个
w = torch.randn(3, 10,
##一、典型的神经网络结构
(1)传统的多层感知机
(2)卷积神经网络,包括
a. AlexNet
真正让卷积神经网络走进大家视野的网络
b. VGG
用更小的卷积核,在相同的感受野下具有更深的网络结构
c. GoogleNet
不同size的卷积核的Ensemble
d. ResNet
e. DenseNet
(3) 循环/递归神经网络
a. LSTM
b. GRU
二、Seq2Seq模型
三、注意力机制
四、过拟合、欠拟合及其解决方案
(1)过拟合、欠拟合的概念
一类是模型无法得到较低的训练