第289章 DPY-0.5(2 / 2)

请关闭浏览器的阅读/畅读/小说模式并且关闭广告屏蔽过滤功能,避免出现内容无法显示或者段落错乱。

“你们是怎么解决的?”李东阳问。

徐若辰笑了一下,转身在白板上画了另一个图。这次是一个稀疏连接的示意图,每个节点只跟少数几个节点有连线,而不是跟所有节点。

“传统的注意力机制,每个token都要和所有其他token做交互。我们通过一种新的动态路由机制,让每个token只跟最关键的那百分之五到百分之十的token做深度交互,其余的部分用轻量级的近似计算替代。”

他停顿了一下,加重了语气:“计算量直接从O(n2)降到了O(nlogn)。一万字的文本,交互次数从一亿降到了不到两百万。”

会议室里安静了一下。

李东阳看着白板上的图,脑子里过了一遍这个数字的变化。

五十倍的差距。

“验证过了?”他问。

“验证了。”徐若辰点头,“我们用多个数据集做了压力测试,结论一致。在保证准确率不降的前提下,计算效率提升了一个数量级以上。”

“准确率不降?”

“准确率还有提升。”旁边一个年轻研究员接话,“因为动态路由机制去掉了噪音信息,模型反而更聚焦了。相当于你让一个学生在复习考试的时候,只复习重点,不复习那些不考的东西。”

李东阳靠在椅背上,看着白板上那个稀疏连接的图,沉默了几秒。

“跟我详细说说。”他说。

徐若辰的眼睛一下子亮了。

他转身打开投影仪,把电脑接上去。屏幕上出现了密密麻麻的数据表格和模型架构图。

“我按时间线来梳理一下。”徐若辰站在投影幕前,拿遥控器翻了第一页。

“去年十二月,我们完成了DPY-0.5的基础版本。参数量七十二亿,训练数据总量一点二万亿token,涵盖中英文双语。这个规模,坦白说,放在全球范围内不算最大的。谷歌的BERT最大版本才三亿参数量,但他们走的是双向编码路线,跟我们的技术路径不太一样。OpenAI的GPT-2是十五亿参数,比我们大。”

他翻到下一页,是一张评测对比表。

“但是在中文语义理解的深度上,根据我们内部重新设计的评估体系,DPY-0.5已经超越了目前市面上所有开源模型的同等规模版本。C-Eval中文综合评测,我们十二月的版本得分是六十二点七分。”

李东阳看了一眼表格里其他模型的分数。谷歌的一个模型,五十八点一分。另一个模型,五十六点三分。

“六十二点七分,已经是最高了。”李东阳说。

“对。但这不是重点。”徐若辰翻到下一页,脸上那种兴奋的表情又回来了,“大年三十那天晚上,我们对注意力机制做了一次彻底的重新设计。新的稀疏注意力架构,我刚才已经介绍了大概。评测结果——C-Eval直接跳到了八十九点四分。”

会议室里安静了。

李东阳看着屏幕上那个数字,八十九点四分,比之前的六十二点七分,高了将近二十七分。

“这个分数意味着什么?”他问。

徐若辰沉默了两秒,像是在组织语言。

“我打个比方。一般的大语言模型,在处理复杂中文文本的时候,能够识别字面意思,但难以捕捉深层的语义和情感。比如说——‘这个东西不贵,但是我不太想买。’大多数模型会理解成‘价格是唯一影响因素,用户因为价格低而有购买意愿,但因为某种原因没有购买’。但这句话背后的真实情感是——‘价格不是问题,问题是我对这个东西本身没有兴趣,我只是在找一个不买的借口。’”

他停了一下,看着李东阳。

“DPY-0.5能捕捉到这个。它能理解那种‘可有可无、略带犹豫’的心理状态。不是因为它的参数量更大,而是因为它的注意力机制更聪明。它知道哪些词是关键的,哪些词是可以忽略的。”

李东阳靠在椅子上,手指在桌面上轻轻敲了两下。

“中文。”他说。

“对,中文。”徐若辰点头,“我们的模型在中文上的表现,远远好于英文。这是因为我们的训练数据以中文为主,而且我们的注意力机制在设计上对中文这种高语境语言特别友好。中文的特点是——很多信息不在字面上,而在上下文和语气里。传统模型处理中文的时候很吃力,但DPY-0.5的动态路由机制天然适合处理这种高语境的语言。”