就爱你小说

手机浏览器扫描二维码访问

第606章 用故事解释softmax函数的溢出问题（第3页）

?

你先抽掉10亿升的水（相当于减去最大值），这样所有的水量都变成一个较小的数字，水池就不会溢出了。

比喻2：计算机的“溢出”锅

假设你在做饭，想同时煮四个锅的水，每个锅的温度分别是：

?

100°c

?

200°c

?

300°c

?

10亿°c

你的炉子最高只能加热到

500°c，但第四个锅的温度远超这个上限，直接导致炉子爆炸（计算机溢出）！

怎么办？

你可以先把所有锅的温度减去一个基准值（比如减去10亿°c），让温度变成：

?

-9.99亿°c

?

-9.98亿°c

?

-9.97亿°c

?

0°c

现在，最高的温度也只是

0°c，不会再超出炉子的承受范围。

总结

?

softmax的溢出问题

是因为指数运算会导致数值过大，超过计算机的上限。

?

解决方案

是在计算softmax之前，先减去最大值，这样所有的数值都会变小，防止指数爆炸。

?

就像往水池倒水、往锅里加热，数值太大就会溢出，我们需要先做调整，确保计算不超出范围！

重生后被亿万富豪逼婚，渣男傻眼  开局表白女神，一剑震撼万族  海贼：洛克斯时代第一剑豪！  吞天仙根  崩坏：从西琳开始捕获小小律者  夺我灵根骂我狠？先天绝情圣体已成！  叶尘：重生在赘婿逆袭之路  我是赵梦凡  重回1978都市放牛  女将带球跑后，死对头一夜哭白头  银镜通古今，侯府真千金带崽开挂了！  穿越之异世奇遇迹  盗墓：无故失忆后我直接发癫  玉孤  穿越兽世，日日扶腰求放过  神谕之十二生肖  黑芒科技之途  迷雾中的真相：侦探手记  开局校花太太向我道歉，东京末日  尸之仙