一块RTX 4090、一块RTX 3090就可以上海汽车销售满意度调研

发布日期：2024-03-07 11:35    点击次数：56

李开复旗下AI公司零一万物上海汽车销售满意度调研，又一位大模子选手登场：

90亿参数Yi-9B。

它堪称Yi系列中的“理科状元”，“恶补”了代码数学，同期空洞才能也没落下。

在一系列近似界限的开源模子（包括Mistral-7B、SOLAR-10.7B、Gemma-7B、DeepSeek-Coder-7B-Base-v1.5等）中，施展最好。

老律例，发布即开源，尤其对开发者友好：

Yi-9B（BF 16） 和其量化版 Yi-9B（Int8）齐能在消耗级显卡上部署。

一块RTX 4090、一块RTX 3090就可以。

深度扩增+多阶段增量窥察而成

零一万物的Yi家眷此前也曾发布了Yi-6B和Yi-34B系列。

这两者齐是在3.1T token中英文数据上进行的预窥察，Yi-9B则在此基础上，增多了0.8T token持续窥察而成。

数据的戒指日历是2023年6月。

来源提到，Yi-9B最大的越过在于数学和代码，那么这俩才能究竟如何擢升呢？

友情提醒：本网站仅作为用户寻找交易对象，就货物和服务的交易进行协商，以及获取各类与贸易相关的服务信息的平台。为避免产生购买风险，建议您在购买相关产品前务必确认供应商资质及产品质量。

友情提醒：本网站仅作为用户寻找交易对象，就货物和服务的交易进行协商，以及获取各类与贸易相关的服务信息的平台。为避免产生购买风险，建议您在购买相关产品前务必确认供应商资质及产品质量。

零一万物先容：

单靠增多数据量并没法达到预期。

靠的是先增多模子大小，在Yi-6B的基础上增至9B，再进行多阶段数据增量窥察。

最初，若何个模子大小增多法？

一个前提是，团队通过分析发现：

Yi-6B窥察得也曾很充分，再若何新增更多token练后果可能也不会往上了，是以辩论扩增它的大小。(下图单元不是TB而是B)

神秘顾客公司_赛优市场调研

若何增？谜底是深度扩增。

零一万物先容：

对原模子进行宽度扩增会带来更多的性能亏本，通过选用顺应的layer对模子进行深度扩增后，新增layer的input/output cosine 越接近1.0，即扩增后的模子性能越能保持原有模子的性能，模子性能亏本狭窄。

依照此念念路，零一万物选用复制Yi-6B相对靠后的16层（12-28 层)，构成了48层的Yi-9B。

执行闪现，这种身手比用Solar-10.7B模子复制中间的16层（8-24层）性能更优。

其次，若何个多阶段窥察法？

谜底是先增多0.4T包含文本和代码的数据，但数据配比与Yi-6B一样。

然后增多另外的0.4T数据，不异包括文本和代码，上海汽车销售满意度调研但要点增多代码和数学数据的比例。

（悟了，就和咱们在大模子发问里的诀要“think step by step”念念路一样）

这两步操作完成后，还没完，团队还参考两篇论文（An Empirical Model of Large-Batch Training和Don’t Decay the Learning Rate， Increase the Batch Size）的念念路，优化了调参身手。

即从固定的学习率驱动，每当模子loss罢部属降时就增多batch size，使其下落不中断，让模子学习得愈加充分。

最终，Yi-9B实质共包含88亿参数，已毕4k转折文长度。

Yi系列中代码和数学才能最强

实测中，零一万物使用greedy decoding的生成神气（即每次选用概率值最大的单词）来进行测试。

参评模子为DeepSeek-Coder、DeepSeek-Math、Mistral-7B、SOLAR-10.7B和Gemma-7B：

（1）DeepSeek-Coder，来自国内的深度求索公司，其33B的辅导调优版块东说念主类评估寥落GPT-3.5-turbo，7B版人道能则能达到CodeLlama-34B的性能。

DeepSeek-Math则靠7B参数干翻GPT-4，颤动扫数开源社区。

（2）SOLAR-10.7B来自韩国的Upstage AI，2023年12月出身，性能寥落Mixtral-8x7B-Instruct。

（3）Mistral-7B则是首个开源MoE大模子，达到以致寥落了Llama 2 70B和GPT-3.5的水平。

（4）Gemma-7B来自谷歌，零一万物指出：

其有用参数目其实和Yi-9B一个等第。

（两者定名准则不一样，前者只用了Non-Embedding参数，后者用的是沿途参数目并进取取整）

袪除如下。

最初在代码任务上，Yi-9B性能仅次于DeepSeek-Coder-7B，其余四位沿途被KO。

在数学才能上，Yi-9B性能仅次于DeepSeek-Math-7B，寥落其余四位。

空洞才能也不赖。

其性能在尺寸邻近的开源模子中最好，寥落了其余沿途五位选手。

临了，还测了学问和推理才能：

袪除是Yi-9B与Mistral-7B、SOLAR-10.7B和Gemma-7B不相转折。

以及讲话才能，不仅英文可以，华文亦然广受好评：

最临了，看完这些，有网友暗示：也曾迫不足待想试试了。

还有东说念主则替DeepSeek合手了一把汗：

马上加强你们的“比赛”吧。全面主导地位也曾莫得了==

— 完 —上海汽车销售满意度调研

• 就可以
• 一块
• 3090
• RTX
• 4090