使用神经网络进行样本训练,要实现随机梯度下降算法。这里我根据麦子学院彭亮老师的讲解,总结如下,(神经网络的结构在另一篇博客中已经定义):
def SGD(self, training_data, epochs, mini_batch_size, eta, test_data=None):
if test_data:
n_test = len(test_data)#有多少个测试集
n = len(training_data)
for j in xrange(epoch
自适应线性神经网络Adaptive linear network, 是神经网络的入门级别网络。
相对于感知器,采用了f(z)=z的激活函数,属于连续函数。
代价函数为LMS函数,最小均方算法,Least mean square。
实现上,采用随机梯度下降,由于更新的随机性,运行多次结果是不同的。
'''
Adaline classifier
created on 2019.9.14
author: vince
'''
import pandas
import math
import num
本篇文章主要通过一个简单的例子来实现神经网络。训练数据是随机产生的模拟数据集,解决二分类问题。
下面我们首先说一下,训练神经网络的一般过程:
1.定义神经网络的结构和前向传播的输出结果
2.定义损失函数以及反向传播优化的算法
3.生成会话(Session)并且在训练数据上反复运行反向传播优化算法
要记住的一点是,无论神经网络的结构如何变化,以上三个步骤是不会改变的。
完整代码如下:
import tensorflow as tf
#导入TensorFlow工具包并简称为tf
from num