全本小说网 > 都市重生 > 首富从看见信息面板开始 > 第一百四十二章 唯一的解释

第一百四十二章 唯一的解释(2 / 2)

请关闭浏览器的阅读/畅读/小说模式并且关闭广告屏蔽过滤功能,避免出现内容无法显示或者段落错乱。

这就像教学生加法:教一加一,考一加一,你分不清他是背会了还是真会了;教一加一,考二十三加十九,才能验证他是不是真会。

所谓过拟合,就是测试题答案已经被模型背过时,测出来的分数会虚高。

刘大海组织了一下语言,答道:“郑总,这事我也想过,但应该不太可能。昨天那三道题来源各不相同:第一道来自鼎盛内部题库,有可能泄露;第二道是我昨天现挂的;第三道出自我的私人题库,公司里都没几个人见过。这样看,提前准备过的概率实在太低。”

完,他咂了下嘴,语气里混着钦佩和不甘:“咋呢,这个85的意图理解,就算有虚高,比坤元领先一些是肯定的。”

听完,郑晓波沉默了片刻。

对面的刘大海和程远都不敢吭声,眼观鼻、鼻观心,一动不动,像两个入定的老僧。

良久,郑晓波开口:“你们觉得,这个技术值得投资吗?”

刘大海脱口而出:“值得,太值得了。”

作为纯粹的技术人,实事求是是第一位的;刘大海不会因为东西是别人做出来的,就故意贬低它。

程远犹豫了一下,没有作声,他还拿不准郑总的意思。

郑晓波又问:“大海,他们是怎么做到的?你有什么想法?”

刘大海伸手摸了摸光头,缓缓道:“郑总,不瞒您,我昨晚几乎一宿没睡,一直在想这事。”

程远瞟了他一眼,心:技术人的邀功,还是直白了点儿哈。

刘大海接着:“我自己想了几个方向。我觉得他们没跳出Transforr的架构,而且拿出来的还是个模型。现阶段,模型性能要有这么大提升,要么靠大参数,要么靠质量特别高的数据,没有第三条路。”

“大参数可以最先排除:他们来要的就是算力,这方面肯定不占优势。”

“意图理解这条赛道,OpenAI的GPT是公认的天花板,也就78分出头。他们拿一个开源的7B架构,参数量只有人家的零头,跑出85.2。郑总,这么跟您吧,这就好比我们县城中学的一个学生,高考分数比全省状元还高三十分。”

刘大海边边留意郑晓波的表情。

技术人给领导汇报,既怕技术细节多了领导听不懂,又怕少了、简略了领导不满意,只能心翼翼,随时调整。

“我能想到的唯一解释是:这个县城学生用的根本不是普通课本,而是一份全世界别的学生都没有的黄金复习资料。”

程远插了一句。

他没听懂,这倒没关系;他主要怕郑总也没听懂,而这种问题不能等郑总来问。

“刘博士,不好意思,你这个比喻指的是什么?”

“是标注数据。”刘大海也意识到上头了,赶紧收回来,“郑总您应该了解,我就简单。”

“咱们做模型训练,主要分几个阶段:先是预训练,这个阶段就是堆语料,恨不得把互联网上的东西全给它整进去。”

“第二步是监督微调。第一步训出来的模型好坏不分,微调相当于给它看作文范文,教它分明白啥是好赖话儿。”

“再往后还有对齐阶段,这个先不聊了。”

到这儿,刘大海叹了口气,继续道:“郑总,咱们做乾元的时候,占了数据量特别大的便宜,效果才好。现在做通用模型,大家用的语料差不多,互联网就那么多东西,你抓我也抓。真想拉开差距,还得看后训练阶段。”

“所以我,那个……对方效果能做到这么好,一定有好的标注数据。”

刘大海把韩路一的名字忘了,公司名也忘了,只好中途改口。

不行,回去得查查这个公司,还有那个叫赵文渊的技术负责人,看看他的论文。

能训练出这种水平的模型,不可能在学术界默默无闻。

一直沉默听着的郑晓波突然开口:“ScaleAI。”