就爱你小说

手机浏览器扫描二维码访问

第592章 积极反馈的老师Relu函数（第3页）

的优缺点：只关注“好消息”，但可能忽略重要信息

虽然

re露

在神经网络中非常流行，但它并不是完美的，它的特点决定了它既有优点，也有一些潜在的问题。

re露

的优点：更快、更强、更稳定

1.

计算速度快

re露

只需要简单地判断**“是否大于

0”**，不像

sigid

或

tanh

需要复杂的指数运算，因此它能让神经网络计算得更快。

2.

解决梯度消失问题

在深度神经网络中，传统的

sigid

函数容易让梯度变得越来越小（导致网络学不会东西）。但

re露

由于保持正值不变（直接

y=x），不会导致梯度消失，从而让神经网络可以学习更复杂的模式。

3.

让神经网络更容易训练深层结构

re露

是现代深度学习的核心激活函数，因为它让深度神经网络（dnn、cnn、transformer

等）可以稳定地训练数百层，甚至更深。

re露

的缺点：可能会忽略一些“负面信息”

虽然

re露

能够高效处理正数输入，但它也有一个潜在的问题——如果输入是负数，它就会直接变成

开局校花太太向我道歉，东京末日  崩坏：从西琳开始捕获小小律者  神谕之十二生肖  穿越兽世，日日扶腰求放过  女将带球跑后，死对头一夜哭白头  重回1978都市放牛  玉孤  穿越之异世奇遇迹  尸之仙  海贼：洛克斯时代第一剑豪！  叶尘：重生在赘婿逆袭之路  吞天仙根  开局表白女神，一剑震撼万族  迷雾中的真相：侦探手记  银镜通古今，侯府真千金带崽开挂了！  我是赵梦凡  重生后被亿万富豪逼婚，渣男傻眼  夺我灵根骂我狠？先天绝情圣体已成！  黑芒科技之途  盗墓：无故失忆后我直接发癫