ReLU函数 ReLU（rectified linear unit）函数提供了⼀个很简单的⾮线性变换。给定元素 ，该函数定义为： 可以看出，ReLU函数只保留正数元素，并将负数元素清零。函数图像如下图： 显然，当输⼊为负数时，ReLU函数的导数为0；当输⼊为正数时，ReLU函数的导数为1。尽管输⼊为0 时ReLU函数不可导，但是我们可以取此处的导数为0。绘制ReLU函数的导数图像： sigmoid函数 sigmoid函数可以将元素的值变换到0和1之间，函数定义： sigmoid函数在早期