手机浏览器扫描二维码访问
第592章 积极反馈的老师Relu函数（第3页）
的优缺点：只关注“好消息”，但可能忽略重要信息
虽然
re露
在神经网络中非常流行，但它并不是完美的，它的特点决定了它既有优点，也有一些潜在的问题。
re露
的优点：更快、更强、更稳定
1.
计算速度快
re露
只需要简单地判断**“是否大于
0”**，不像
sigid
或
tanh
需要复杂的指数运算，因此它能让神经网络计算得更快。
2.
解决梯度消失问题
在深度神经网络中，传统的
sigid
函数容易让梯度变得越来越小（导致网络学不会东西）。但
re露
由于保持正值不变（直接
y=x），不会导致梯度消失，从而让神经网络可以学习更复杂的模式。
3.
让神经网络更容易训练深层结构
re露
是现代深度学习的核心激活函数，因为它让深度神经网络（dnn、cnn、transformer
等）可以稳定地训练数百层，甚至更深。
re露
的缺点：可能会忽略一些“负面信息”
虽然
re露
能够高效处理正数输入，但它也有一个潜在的问题——如果输入是负数，它就会直接变成
开局表白女神，一剑震撼万族 银镜通古今，侯府真千金带崽开挂了！ 崩坏：从西琳开始捕获小小律者 我是赵梦凡 叶尘：重生在赘婿逆袭之路 神谕之十二生肖 玉孤 穿越兽世，日日扶腰求放过 盗墓：无故失忆后我直接发癫 开局校花太太向我道歉，东京末日 黑芒科技之途 迷雾中的真相：侦探手记 海贼：洛克斯时代第一剑豪！ 穿越之异世奇遇迹 重生后被亿万富豪逼婚，渣男傻眼 女将带球跑后，死对头一夜哭白头 尸之仙 重回1978都市放牛 夺我灵根骂我狠？先天绝情圣体已成！ 吞天仙根
兵王传说
一场人质救援行动中，因为救援失败而一蹶不振的龙牙队员张正选择退役归隐，此后国家神秘的龙牙小组真正意义上失去了最尖锐的兵器。几年后的张正再次出现势必要将这世界搅动得天翻地覆。...
蜀山魔门正宗
蜀山有玄门正宗，一家独大。主角修炼的是魔门正宗。群号紫云宫22117110。...
苏狂
下载客户端，查看完整作品简介。...
极品仙师
市一高新丁黄景耀因得罪骨干教师被恶意针对，不堪受辱辞职后意外得到仙家至宝。重新执教县一高，左手录运簿册掌天下文章，可查看每一个学生学习天赋，提升天赋。右手文昌大印掌考场气运，财富官运。教师以教育水平和升学率为本，黄景耀渐渐发现他的本钱雄厚的有些令人发指，一次次撼动整个教育界，又远不止单一的教育界。...
我的绝美御姐老婆
聚焦巅峰火爆畅销他是世界闻名的巅峰杀手，却被家族逼婚，与美女总裁住在了一起。彼此看不顺眼却又不得不同居，萧凡决定回学校散散心，可是...
1号新妻：老公，宠上瘾！
被继母逼迫，她走投无路，和神秘富豪签定协议嫁进豪门。婚后三年，富豪老公把她宠上天。只除了没有生下继承人。豪华别墅里，裴七七气愤地将报纸砸在男人身上这上面说我是不下蛋的母鸡，唐煜，明明就是你的问题。男人放下报纸，一本正经地赞同小妻子的话怎么能乱写呢，你分明属猪！唐！煜！她气得跳脚！男人轻笑有没有孩...