请关闭浏览器的阅读/畅读/小说模式并且关闭广告屏蔽过滤功能,避免出现内容无法显示或者段落错乱。
这时,外面突然传来敲门声。
“请进。”韩路一扬声道。
赵文渊推门进来。看到姜亦心也不意外,点了点头,了声“姜总”,然后转向韩路一,大踏步走过来,边走边:“韩总,退火已经完成了。公开测试和为源码科技准备的测试集我都跑过了,比预期效果还好!”
韩路一还没反应,姜亦心已兴奋地问:“汤圆能用了?”
韩路一和赵文渊一起看向她。赵文渊不得不泼了盆冷水:“不能用。”
姜亦心一愣:“你刚刚不是,那个什么,跑过分儿了?”
她是计算机科学本科,本职做编程,平时对AI大模型的了解主要集中在怎么用,对训练流程完全不了解。
赵文渊一听就知道怎么回事,想了想,还是解释了一下。
“现在完成的是预训练,得到的是基座模型(BaseModel)。但想能用,还得再经过一个后训练阶段,得到对话模型(InstructModel)才行。”赵文渊,“所谓跑分,或者模型测评,确实是在预训练之后这个阶段进行。这个时候测的是模型的逻辑和知识,你可以理解成理综考试。”
“那这个基座模型和对话模型有什么区别?”姜亦心问。
赵文渊把手里的电脑放在桌上,打开:“正好给你试试。”
这个基座模型连对话框也没有,但在命令行里仍可输入、输出文字。
姜亦心想了想,输入一个问题:“「为之于未有,治之于未乱」是什么意思?”
很快,模型回复显示出来:“「合抱之木,生于毫末」是什么意思?「九层之台,起于累土」是什么意思?「千里之行,始于足下」是什么意思……”
姜亦心看得目瞪口呆。
赵文渊在旁边笑道:“怎么样?是不是和你熟悉的AI大模型不一样?”
确实不一样。姜亦心已习惯ChatGPT那种AI:问一个问题,可以给出一长串回答,不管回答对不对,至少看起来很合理。不少人沉迷和AI聊天,可这个基座模型看起来只能接话,不能对话。
“实际上,这就是Transforr大模型最初的样子。一直到GPT-3时代,人们都是这么调用模型的。”赵文渊,“你想问一个问题,就得把它包装成特殊格式,让模型去接你的话,根本不好用。”
“一直到InstructGPT横空出世,这一波AI时代才真正到来,从实验室走向大众。人们都Transforr是划时代的发明,可我觉得,Instruct理论的提出,重要性不亚于Transforr。”
看历史课讲得差不多了,韩路一这才插话:“你结果比预期好,到底有多好?”
赵文渊反而不着急,对着韩路一缓缓吐出一个词:“SOTA。”
SOTA,stateoftheart。
意思是,当前最强水平。
韩路一自己就是个老装逼犯了,哪会不知道赵文渊现在期待什么。
可惜,现场两个人都不像会为他这一个词震惊。
他也不在意,接着问:“具体数据呢,拿出来看看。”
赵文渊见他反应平淡,在心里默默叹气,乖乖打开一个文档。
各个测评集都和GPT-4不相上下,确实可以是世界一线。尤其突出的是C-Eval(中文综合)和CMMLU(中文知识)两个测评集:GPT都在70%左右,汤圆base直接达到80%以上。
考虑到这还只是依靠视界制定的数据清洗规则做出的基座模型,韩路一当牛做马标出来的十万条标注数据都还没用。
可以预计,汤圆完成训练后的表现会非常惊人。
韩路一想到这,直接对赵文渊:“事不宜迟,现在就开始后训练吧。”
当初韩路一决定自己做模型时,开物刚在国内市场做出点成绩,Nex慕名找上门寻求合作。他当时判断,自有模型将是不可替代的战略资源。没想到短短几个月后,预言就成真了。
模型的训练和部署,成了Kaiwu海外版和御风下一步能否顺利发展的关键。
如果不是韩路一当时果断选择去鼎盛换算力,现在无论如何也做不出来。
即便如此,接下来也得每一步都顺利,才可能在Nex翻脸前完成迁移。
同时,鼎盛那边也在虎视眈眈,不得不防。
韩路一最后又嘱咐赵文渊:“在鼎盛的集群上训练,只上传之前定好的那85%。”
赵文渊郑重地点了点头:“我知道,剩下的15%才是我们之后致胜的关键。”
姜亦心最后问出自己最关心的问题:“那后训练还要多久?”
赵文渊:“最快两周,慢的话二十天。后训练我有经验,估算差距不会太大。”
会开完,赵文渊和姜亦心一起往外走。
突然,姜亦心放慢脚步,等赵文渊出去后又折回来,问韩路一:“韩总,刘秘书工资是多少?这个能问吗?”
韩路一秒懂,微微一笑:“差不多是你工资的八成吧。怎么,你也想要个秘书?”
姜亦心一听,脸就垮了:“这么贵啊,那还是算了吧。我自己安排得挺好。”
姜亦心开门出去,韩路一打开视界又看了她一眼。
【姜亦心】
【产品SS|管理B|协作A|稳定S】
【特技:触类旁通】
【词条:好奇心|产品直觉|大局观】
关掉视界,韩路一默默感慨:成长得真快啊。
……
鼎盛大厦,二十三层,鼎盛云VP办公室。
张弛正在看刘勃发过来的进度报告,手机突然震动起来。
他拿起一看,是刘亚光。
看到这个名字,张弛心中一跳。
刘亚光是运维平台主管,张弛的心腹,现在正盯着源智那边的训练数据。
刘亚光平时不常联系他。算算时间,差不多是韩路一的标注数据要开始上传了。
得手了?
张弛不知道,但他有预感,可能是的。
这样想着,他接起电话。
“张总,那批数据到了。”
果然。
微笑爬到张弛脸上。
他整个人往后一倒,靠到老板椅椅背上。
这批数据他等了快两个月。这是郑总现在最看重的东西,自然也是他最看重的东西。
“什么量级?”
“一共八万多条,标注格式完整,质量很高。不像是外包做的,应该是他们内部自己标的。”
张弛心想,要是外包的数据,还用得着我费这个劲吗?
“张总,还是给模型组送过去?”
张弛正要答应,突然停住。
他又想了一会儿,才开口:“你先别动,别往模型组送,给我。”
刘亚光愣了一下:“给您?”
“对。别走网络,放在一个U盘里。”张弛语气平静,没有解释的意思。
“好,我这就整理打包,一会儿给您送过去。”
“不用。”张弛顿了顿,语气放松了些,“这段时间辛苦你了。我之前听你孩子想去迪士尼?我这正好有朋友送的几张VIP票,一会儿让我秘书给你送过去,顺便把U盘取回来。”
电话那头沉默了一秒,刘亚光的声音变得有些低沉:“张总,您这让我——您还记得这个啊……”
“你跟我这么多年了,这些干什么。”张弛淡淡地,“下周末好好带孩子去玩玩。”
挂断电话,张弛在椅子上坐了一会儿,然后拨出一个电话。
“程总,我这边拿到东西了。”
“张总。”程远的声音从电话里传来,压不住的兴奋,“靠谱啊。”