手机浏览器扫描二维码访问
第914章 梯度下降（第3页）
?这就是梯度下降在人脑中的投影。
3永远不是绝对答案
?人类也不会给一个“100确定”的结论。
?比如看到一只奇怪的宠物，你可能说：“嗯，看起来像猫，但也有狗的特征。”
?这就是机器学习中的概率输出。
?
五、哲学层面的启示
1学习是渐进的
梯度下降提醒我们：学习不是跳跃，而是一次次小步调整。
每次错了，就顺着错误最大的方向修正一点。
2最优是虚构的
就像你说的，碗底永远是“无限接近”，人类的理解也永远是不完整的，只能在概率意义下“差不多就行”。
3随机性是智慧
没有随机性，人可能会被困在“小谷底”里，以为那就是全部真理。
随机性（犯错、偶然的发现）反而帮助我们跳出来，找到更深的理解。
?
好，那我就再往更深一层走，把“梯度下降”从数学—工程—哲学三个维度继续展开。
?
一、数学视角：为什么非要走“负梯度”？
在高维空间里，函数的梯度（?f）指向上升最快的方向。
?举例：你站在山坡上，梯度就是告诉你“哪里最陡，往那边走上升最快”。
?但我们要下山，所以要走“负梯度”。
?每一步的公式就是：
theta_{new}=theta_{ld}-etanabf（theta_{ld}）
其中：
?theta是参数（比如神经网络里的权重）。
?eta是学习率。
?nabf是梯度。
换句话说，每一步都像在地图上用指南针找方向，永远往“下坡最快”的方向走。
?
二、工程视角：梯度下降的改进
在大模型里，光靠最原始的梯度下降其实不够。工程师们发明了很多“加速方法”：
1动量法（ntu）
?类比：滚珠下山时不仅看坡度，还带有惯性。
?这样就不会在小坑里乱跳，而是能跨过去。
2自适应学习率（adagrad，rprp，ada等）
?传统学习率是固定的，但现实中不同方向的地形不一样。
?比如有的维度很陡，有的很平缓。
尸之仙 我是赵梦凡 开局表白女神，一剑震撼万族 重回1978都市放牛 玉孤 吞天仙根 神谕之十二生肖 重生后被亿万富豪逼婚，渣男傻眼 开局校花太太向我道歉，东京末日 盗墓：无故失忆后我直接发癫 穿越之异世奇遇迹 银镜通古今，侯府真千金带崽开挂了！ 黑芒科技之途 叶尘：重生在赘婿逆袭之路 崩坏：从西琳开始捕获小小律者 迷雾中的真相：侦探手记 女将带球跑后，死对头一夜哭白头 夺我灵根骂我狠？先天绝情圣体已成！ 穿越兽世，日日扶腰求放过 海贼：洛克斯时代第一剑豪！
异界召唤之千古群雄
这里有西楚霸王‘项羽’。这里有绝代杀神‘白起’。这里有千古奇人‘鬼谷子’。这里有西府赵王‘李元霸’。这里有盖世猛将‘吕布’。这是一个开挂的故事，生死看淡，不服就干！人呢？快进来扶扶朕（疯狂暗示加入书架），朕要拿传国玉玺，给读者老爷们砸核桃！什么？不吃核桃？没关系，拿朕的金箍棒来。给读者老爷们先剔剔牙，再随朕前往...
我的绝美御姐老婆
聚焦巅峰火爆畅销他是世界闻名的巅峰杀手，却被家族逼婚，与美女总裁住在了一起。彼此看不顺眼却又不得不同居，萧凡决定回学校散散心，可是...
君少心头宝，夫人哪里跑
从我身上下去。男人的声音透着几分无奈和隐忍。我不。少女摇头，双手死死抱住身下的男人。听话，你这样我没法睡。以前我都是趴你身上睡的。那不一样你现在是人。京城杀伐果断，残暴冷血的神秘大当家意外被只小奶猫所救，从此化身猫奴，跌了一众下属的下巴。然而当有一天睡醒发现怀里的小奶猫变成了俏生生的软萌小丫...
色间道
穷小子楚帅，先赚了一个极品级二奶，却原来是间谍精英，然后，一个大陆女警官凌小杰好有暗恋他，可是，穷小子还有一个比鸟齐飞的原配初恋，还有一个女朋友的死党小魔女蓝菲，还有几乎是后宫佳丽如云，不过，一个个美眉都有好神秘的身份，你中有我，我中有你...
都市寻艳录
身世坎坷历经沧桑人间情意究竟为何物？妈妈是什么？奶奶是什么？姑姑婶婶又是什么？也许，都是女人罢了。你们给了我们生活的必须，但是她们没有给我们家庭的温暖，因此从理智上我们应该感激你们的，可是感情上很多时候是会出现偏差的。我喜欢熟女喜欢年龄稍大的女人当然是女人我都会喜欢当然是那种好女人...
猎美玉龙
看书名就知道，我们的猪脚究竟要干什么！请耐心看下去，你不会失望的！京华市委书记的儿子荆天，16岁，仗着老子是京华市的一把手，在学校里是个问题学生，回到家却乖的不得了，这个两面少年，无意中从一枚祖传古戒中得到一种神奇的功法，从此之后，他的人生，发生了巨大的变化。学习成绩陡然上升，少女少妇看到他就美眸放光，将市委大院里的RQ收了之后，他便将魔爪伸向了校园，伸向了整个京华市的各个部门，只要他见到的美女，就想方设法归于自己麾下，邪恶而轻松的猎美之旅，充满着令人拍案的奇妙遭遇，是艳遇还是刻意追求？敬请期待...