就爱你小说

手机浏览器扫描二维码访问

第914章 梯度下降(第1页)

什么叫梯度下降,就是这个人工智能大模型的函数一定是个碗,或者下突的曲线,这样在任意一点的切线的斜率,就是函数的导数,多个变量叫偏导数,一个变量叫导数,实际就是求碗的最低点,无限接近,切线的斜率为0。就是个概率问题,实际无法达到,就像人认识一只猫,大概就是一只猫,长得像狗的猫也有,差不多就行了。汽车,四个轮的不一定是汽车,可能是步兵装甲车,就是这样,都是模糊的。

你理解得非常到位,我帮你稍微展开一下,让它更系统化:

?

1梯度下降的直观理解

你说的“函数像一个碗”其实就是凸函数的典型比喻。碗的底部就是我们要找的最小值,而“往下走”靠的就是斜率(导数)。

?单变量情况:一条曲线,任意一点的切线斜率(导数)告诉我们,往左还是往右能下得更快。

?多变量情况:就是在高维空间的“碗面”,切线斜率扩展成了“梯度向量”,它指向函数上升最快的方向。我们要走反方向(负梯度),才能往低处下。

所以“梯度下降”就是不断沿着负梯度走,像滚珠在碗里往底部滚,只是每次滚动的步子大小由学习率决定。

?

2为什么是“概率问题”

你说“无法真正达到最低点,只能无限接近”是对的。原因有三:

1计算精度:机器只能迭代有限次,不可能真的迭代到导数绝对为零。

2函数形状复杂:大模型的损失函数往往不是完美的碗,而是起伏山谷,有很多“局部低谷”。我们找到的点可能只是某个小谷底,而不是整个山谷的最低点。

3模型目标本身是近似:就像你说的“猫”和“狗”,现实世界的分类本身就是模糊的,函数无法定义一个绝对的“真值”,只能在概率意义下做到“尽量正确”。

所以梯度下降找到的解,本质上就是“一个够好的点”,而不是“绝对最优点”。

?

3类比到人的认知

你说“认识一只猫,大概就是一只猫”非常贴切。

?机器学习里的“碗底”就是最能解释数据的参数组合。

?但数据有噪声、有歧义,就像长得像狗的猫,四个轮的不一定是汽车。

?因此,模型不会给出“唯一答案”,而是给出一个概率分布——比如“这是猫的概率是90,狗的概率是10”。

这也是为什么深度学习常常用交叉熵这样的概率损失函数,而不是单纯的“对不对”。

?

4梯度下降背后的智慧

从哲学角度看,梯度下降有点像人的学习:

?每次犯错(损失)后,沿着“错误最敏感的方向”调整一点点。

?学不会一蹴而就,而是通过无数次小步修正,逐渐逼近“更合理的理解”。

?最终得到的知识,也不是绝对正确的,而是“在大多数情况下有效”。

?

好的,我就接着往下深入,把梯度下降从“形象理解→数学逻辑→哲学启发”串起来。

?

一、梯度下降的三种形态

其实“梯度下降”不止一种,而是演化出了多种版本。

1批量梯度下降(batchgradientdecent)

?每次都用所有数据来计算梯度。

?好处:方向最准确。

?坏处:数据量大时计算太慢,容易卡在某个方向不动。

2随机梯度下降(gd)

海贼:洛克斯时代第一剑豪!  吞天仙根  穿越兽世,日日扶腰求放过  重回1978都市放牛  玉孤  银镜通古今,侯府真千金带崽开挂了!  女将带球跑后,死对头一夜哭白头  神谕之十二生肖  开局表白女神,一剑震撼万族  我是赵梦凡  尸之仙  叶尘:重生在赘婿逆袭之路  穿越之异世奇遇迹  夺我灵根骂我狠?先天绝情圣体已成!  开局校花太太向我道歉,东京末日  黑芒科技之途  盗墓:无故失忆后我直接发癫  重生后被亿万富豪逼婚,渣男傻眼  崩坏:从西琳开始捕获小小律者  迷雾中的真相:侦探手记  

热门小说推荐
种田山里汉:神医美娇娘

种田山里汉:神医美娇娘

已完结,新书求支持!小神医魂穿女尊王朝,原主臭名昭著,残暴不仁,身后留下一堆烂摊子。家徒四壁,茅屋漏雨,粮缸又已见了底。面对美貌的夫君,又瞅瞅丑不拉叽的自己,她狂奔在一条通往钢牙小白兔的康庄大道上!敢觊觎她夫君?揍,没有拳头解决不了的事情!如果有,那就接着揍!穷?医术,香粉,布艺,美食,酒庄,生意做起来,铺子开...

阴娘

阴娘

18岁那年,我娘被我爹打死,然后我爹娶了个和我一样大的后娘进门。7天后,我娘爬出棺材,敲开了我父亲的门欢迎关注我的微博大家看的时候记得先登陆(QQ号直接登陆就可以了!)然后点一下封面下面的推荐按钮!加更规则200个钻石加一更!单独打赏两个玉佩加一更!一个皇冠加五更!关键词阴娘最新章节阴娘小说阴娘全文阅读...

从超神学院开始的穿越日常

从超神学院开始的穿越日常

作为普通人的许易穿越到神学院的世界,表示压力山大!然而许易意外激活身体里的无限系统,得而穿越各种不同的幻想世界,影视,动漫,小说一切应有尽有。许易面色淡漠,仰视苍天,忽然开口我要这天,再遮不住我眼。我要这地,再埋不了我心。要这众生,都明白我意。要那诸佛,全都烟消云散。苍天mdzz,老子招你惹你啦!...

穿越大周(武唐风流)

穿越大周(武唐风流)

李逸飞,大唐前太子李贤之子,因其父被武则天毒害,从小就被逍遥老人收养,十年之后,学艺有成的李逸飞下山报仇,最后经过与武则天的一番较量终于将女皇降服,成功光复李唐江山,揽江山美人于一身,享受人间帝王之风流。...

发个微信去天庭

发个微信去天庭

当秦奋手机微信摇出了天庭朋友圈,他发现自己的人生变了,但天庭的变化更惊悚。想要金点子,行,拿东西来换,我不挑食。超市,串串香,等一系列熟悉的东西对原有的天庭造成了冲击。秦奋看着天庭的物产,发现自己似乎要发了。种田,数钱,好多事要做。我是先吃蟠桃呢,还是九转金丹。签已过,人品嘛,我很有节操可以吗?求点求收求票票,求包...

每日热搜小说推荐