手机浏览器扫描二维码访问
第914章 梯度下降（第3页）
?这就是梯度下降在人脑中的投影。
3永远不是绝对答案
?人类也不会给一个“100确定”的结论。
?比如看到一只奇怪的宠物，你可能说：“嗯，看起来像猫，但也有狗的特征。”
?这就是机器学习中的概率输出。
?
五、哲学层面的启示
1学习是渐进的
梯度下降提醒我们：学习不是跳跃，而是一次次小步调整。
每次错了，就顺着错误最大的方向修正一点。
2最优是虚构的
就像你说的，碗底永远是“无限接近”，人类的理解也永远是不完整的，只能在概率意义下“差不多就行”。
3随机性是智慧
没有随机性，人可能会被困在“小谷底”里，以为那就是全部真理。
随机性（犯错、偶然的发现）反而帮助我们跳出来，找到更深的理解。
?
好，那我就再往更深一层走，把“梯度下降”从数学—工程—哲学三个维度继续展开。
?
一、数学视角：为什么非要走“负梯度”？
在高维空间里，函数的梯度（?f）指向上升最快的方向。
?举例：你站在山坡上，梯度就是告诉你“哪里最陡，往那边走上升最快”。
?但我们要下山，所以要走“负梯度”。
?每一步的公式就是：
theta_{new}=theta_{ld}-etanabf（theta_{ld}）
其中：
?theta是参数（比如神经网络里的权重）。
?eta是学习率。
?nabf是梯度。
换句话说，每一步都像在地图上用指南针找方向，永远往“下坡最快”的方向走。
?
二、工程视角：梯度下降的改进
在大模型里，光靠最原始的梯度下降其实不够。工程师们发明了很多“加速方法”：
1动量法（ntu）
?类比：滚珠下山时不仅看坡度，还带有惯性。
?这样就不会在小坑里乱跳，而是能跨过去。
2自适应学习率（adagrad，rprp，ada等）
?传统学习率是固定的，但现实中不同方向的地形不一样。
?比如有的维度很陡，有的很平缓。
夺我灵根骂我狠？先天绝情圣体已成！ 玉孤 崩坏：从西琳开始捕获小小律者 银镜通古今，侯府真千金带崽开挂了！ 海贼：洛克斯时代第一剑豪！ 开局校花太太向我道歉，东京末日 黑芒科技之途 女将带球跑后，死对头一夜哭白头 迷雾中的真相：侦探手记 重生后被亿万富豪逼婚，渣男傻眼 叶尘：重生在赘婿逆袭之路 穿越之异世奇遇迹 我是赵梦凡 穿越兽世，日日扶腰求放过 尸之仙 吞天仙根 盗墓：无故失忆后我直接发癫 重回1978都市放牛 开局表白女神，一剑震撼万族 神谕之十二生肖
种田山里汉：神医美娇娘
已完结，新书求支持！小神医魂穿女尊王朝，原主臭名昭著，残暴不仁，身后留下一堆烂摊子。家徒四壁，茅屋漏雨，粮缸又已见了底。面对美貌的夫君，又瞅瞅丑不拉叽的自己，她狂奔在一条通往钢牙小白兔的康庄大道上！敢觊觎她夫君？揍，没有拳头解决不了的事情！如果有，那就接着揍！穷？医术，香粉，布艺，美食，酒庄，生意做起来，铺子开...
阴娘
18岁那年，我娘被我爹打死，然后我爹娶了个和我一样大的后娘进门。7天后，我娘爬出棺材，敲开了我父亲的门欢迎关注我的微博大家看的时候记得先登陆（QQ号直接登陆就可以了！）然后点一下封面下面的推荐按钮！加更规则200个钻石加一更！单独打赏两个玉佩加一更！一个皇冠加五更！关键词阴娘最新章节阴娘小说阴娘全文阅读...
从超神学院开始的穿越日常
作为普通人的许易穿越到神学院的世界，表示压力山大！然而许易意外激活身体里的无限系统，得而穿越各种不同的幻想世界，影视，动漫，小说一切应有尽有。许易面色淡漠，仰视苍天，忽然开口我要这天，再遮不住我眼。我要这地，再埋不了我心。要这众生，都明白我意。要那诸佛，全都烟消云散。苍天mdzz，老子招你惹你啦！...
穿越大周(武唐风流)
李逸飞，大唐前太子李贤之子，因其父被武则天毒害，从小就被逍遥老人收养，十年之后，学艺有成的李逸飞下山报仇，最后经过与武则天的一番较量终于将女皇降服，成功光复李唐江山，揽江山美人于一身，享受人间帝王之风流。...
魔神艳游
...
发个微信去天庭
当秦奋手机微信摇出了天庭朋友圈，他发现自己的人生变了，但天庭的变化更惊悚。想要金点子，行，拿东西来换，我不挑食。超市，串串香，等一系列熟悉的东西对原有的天庭造成了冲击。秦奋看着天庭的物产，发现自己似乎要发了。种田，数钱，好多事要做。我是先吃蟠桃呢，还是九转金丹。签已过，人品嘛，我很有节操可以吗？求点求收求票票，求包...