就爱你小说

手机浏览器扫描二维码访问

第514章 用steamdeck安装AI大模型的体验gpt4all（第3页）

的核心是自注意力机制，它允许模型衡量每个输入标记与序列中每个其他标记的关系的重要性。这是通过使用三个可学习的向量实现的，分别称为查询向量（q）、键向量（k）和值向量（v）。自注意力机制计算每对标记之间的注意力分数，然后用于生成值向量的加权和。多头注意力：transformer

使用多头注意力来捕捉输入序列的不同方面。多头注意力层中的每个

"头"

都独立执行自注意力，并生成自己的输出。这些输出然后被连接并线性转换以创建多头注意力层的最终输出。看到这里，你可能已经怒了

——

有这么比的吗？！你拿一个如此精致的小模型

gpt4all（70b）跟

gpt-4

这样的大怪物去比。gpt-4

胜之不武，我为

gpt4all

鸣不平！且慢恼怒，我想表达的意思是这样的：如果一个模型真的能达到蒸馏浓缩的作用，那么显然体积的显着减小是重大优势，毕竟这意味着训练和应用成本降低，速度显着提升。但如果模型缩小以后在解决问答、解释和编程能力上和大模型相比差距显着，那么我们就不能武断地说小模型「性价比」更高了。有研究证实过在「有人类调教的情况下」，60

亿参数的小模型甚至可以在某些任务上面击败

1750

亿参数的大模型

（ouyang

et

al.

2022）。只不过，这里的比较并不公平

——

它指的是小模型有人工调教，而大模型缺乏调教的情况。chatgpt

不缺乏调教，因此我们并没有看到

gpt4all

能够以少量的参数达到

chatgpt

这么好的性能，即便它充分使用了

chatgpt

的输入输出数据。训练大语言模型时，多大的语料会使得模型对外部世界真实认知产生质的飞跃（可以在各项任务上都有好的表现）？目前的经验是

300

亿单词的输入量

（zhang

et

al.

2020）。但是大语料需要足够高的模型复杂度来承载。模型相对输入数据过于复杂固然不好（过拟合，over-fit）。然而一个太小的模型在面对大数据的时候，也会力不从心（欠拟合）。大和小是需要相对判断的。目前的

玉孤  盗墓：无故失忆后我直接发癫  我是赵梦凡  夺我灵根骂我狠？先天绝情圣体已成！  重回1978都市放牛  吞天仙根  穿越兽世，日日扶腰求放过  尸之仙  银镜通古今，侯府真千金带崽开挂了！  重生后被亿万富豪逼婚，渣男傻眼  黑芒科技之途  叶尘：重生在赘婿逆袭之路  迷雾中的真相：侦探手记  海贼：洛克斯时代第一剑豪！  开局校花太太向我道歉，东京末日  女将带球跑后，死对头一夜哭白头  开局表白女神，一剑震撼万族  神谕之十二生肖  穿越之异世奇遇迹  崩坏：从西琳开始捕获小小律者