第290章 GPU问题(1 / 2)

请关闭浏览器的阅读/畅读/小说模式并且关闭广告屏蔽过滤功能,避免出现内容无法显示或者段落错乱。

“英文呢?”

“英文也不差,但没有中文这么好。”徐若辰翻到下一页,是一张英文评测表,“在英文的SuperGLUE基准测试上,我们的模型得分是八十五点三分。GPT-2的得分是八十二点一分。我们高了三到四个点,但没有中文那种碾压级别的优势。”

李东阳点了点头,又追问:“训练成本呢?”

陈铭宇接过了话:“十二月的版本,训练成本大约是一千两百万美元。大年三十的迭代版本,因为注意力机制的效率大幅提升,训练成本降到了不到六百万美元。后续如果再训练,成本还会进一步降低。”

“推理成本呢?”

“推理成本的降幅更明显。”徐若辰说,“因为推理的时候,自注意力机制的计算量占了绝对大头。我们把O(n2)降到O(nlogn)之后,推理速度提升了将近二十倍。同样的硬件配置,以前处理一条一万字文本需要十秒钟,现在只需要零点五秒。”

“零点五秒。”李东阳重复了一遍。

“对。而且成本也相应降下来了。以前处理一条长文本的成本大概是两分钱人民币,现在不到一分钱。如果量大的话,这个差距非常可观。”

李东阳沉默了。

会议室里所有人都在看他。

“下一步的计划是什么?”他问。

徐若辰翻到最后一页,上面列了一个时间线。

“我们计划在三月底之前完成DPY-1.0的正式版本。参数量会从七十二亿扩充到一百二十亿到一百五十亿之间。训练数据总量扩充到两万亿token以上。预计C-Eval得分可以进一步提升到九十五分以上。”

“应用层呢?”李东阳看向陈铭宇。

陈铭宇接过话:“我们已经在规划了。目前考虑三个方向。第一,智能客服。这个是最直接的,海鑫二手回收和京东转转那边的客服需求量很大,如果能用大语言模型替代一部分人工,降本增效的效果会很显着。第二,内容生成。旧石头那边需要大量的剧本、文案、营销内容,大语言模型可以辅助生成初稿,人工再润色。第三,代码辅助。我们内部的技术团队已经在用DPY-0.5的预览版辅助写代码了,效率提升大概在百分之三十左右。”

李东阳听完,站起来,走到白板前。

他看着那个稀疏连接的示意图,看了好一会儿。

“徐博士。”他转过头。

“李总。”

“你现在有多大的把握,这条路是对的?”

徐若辰想了想,说:“技术路线已经验证了。从理论到实验,我们都反复推演过了。剩下的问题是工程化——把模型做大,把推理做快,把成本做低。这些问题,我认为都可以解决。”

“时间呢?”

“一到两年之内,做到可以大规模商用。”

李东阳点了点头,转身看着会议室里的人。

这五十八个人,来自世界各地,放弃了谷歌、微软、脸书的高薪,跑到凌波这个他们之前可能都没听说过的地方,在一个还在建设中的研究院里,没日没夜地写代码、调模型、跑数据。

好在这里老外多,没啥过年的执念。

“我说几句。”李东阳开口了。

所有人都坐直了。

“你们做的事,很重要。不是因为能赚多少钱,而是因为在你们之前,没有人做到过。”他顿了顿,“这个领域,美国起步比我们早。谷歌、OpenAI、微软,他们有钱,有人,有技术积累。我们追得很辛苦。”

他在会议室里走了两步,停下来。

“但今天你们告诉我,我们在中文语义理解上,已经超过了他们。在这个细分赛道上,我们是领先的。这个领先不是天上掉下来的,是你们一行一行代码写出来的,是一个参数一个参数调出来的。”

他看了看徐若辰,看了看陈铭宇,看了看在场的每一个人。

“我不太会说场面话。我只说一句——辛苦了。”

会议室里安静了一下。

然后不知道是谁带头鼓了掌,所有人都跟着拍了起来。不是那种客套的、敷衍的掌声,是真的在拍。

徐若辰坐在那儿,眼眶有点红,但他忍住了。

陈铭宇站起来,笑着说了一句:“李总难得说这么多话,大家记下来,以后可以当史料。”