请关闭浏览器的阅读/畅读/小说模式并且关闭广告屏蔽过滤功能,避免出现内容无法显示或者段落错乱。
这就像教学生加法:教一加一,考一加一,你分不清他是背会了还是真会了;教一加一,考二十三加十九,才能验证他是不是真会。
所谓过拟合,就是测试题答案已经被模型背过时,测出来的分数会虚高。
刘大海组织了一下语言,答道:“郑总,这事我也想过,但应该不太可能。昨天那三道题来源各不相同:第一道来自鼎盛内部题库,有可能泄露;第二道是我昨天现挂的;第三道出自我的私人题库,公司里都没几个人见过。这样看,提前准备过的概率实在太低。”
完,他咂了下嘴,语气里混着钦佩和不甘:“咋呢,这个85的意图理解,就算有虚高,比坤元领先一些是肯定的。”
听完,郑晓波沉默了片刻。
对面的刘大海和程远都不敢吭声,眼观鼻、鼻观心,一动不动,像两个入定的老僧。
良久,郑晓波开口:“你们觉得,这个技术值得投资吗?”
刘大海脱口而出:“值得,太值得了。”
作为纯粹的技术人,实事求是是第一位的;刘大海不会因为东西是别人做出来的,就故意贬低它。
程远犹豫了一下,没有作声,他还拿不准郑总的意思。
郑晓波又问:“大海,他们是怎么做到的?你有什么想法?”
刘大海伸手摸了摸光头,缓缓道:“郑总,不瞒您,我昨晚几乎一宿没睡,一直在想这事。”
程远瞟了他一眼,心:技术人的邀功,还是直白了点儿哈。
刘大海接着:“我自己想了几个方向。我觉得他们没跳出Transforr的架构,而且拿出来的还是个模型。现阶段,模型性能要有这么大提升,要么靠大参数,要么靠质量特别高的数据,没有第三条路。”
“大参数可以最先排除:他们来要的就是算力,这方面肯定不占优势。”
“意图理解这条赛道,OpenAI的GPT是公认的天花板,也就78分出头。他们拿一个开源的7B架构,参数量只有人家的零头,跑出85.2。郑总,这么跟您吧,这就好比我们县城中学的一个学生,高考分数比全省状元还高三十分。”
刘大海边边留意郑晓波的表情。
技术人给领导汇报,既怕技术细节多了领导听不懂,又怕少了、简略了领导不满意,只能心翼翼,随时调整。
“我能想到的唯一解释是:这个县城学生用的根本不是普通课本,而是一份全世界别的学生都没有的黄金复习资料。”
程远插了一句。
他没听懂,这倒没关系;他主要怕郑总也没听懂,而这种问题不能等郑总来问。
“刘博士,不好意思,你这个比喻指的是什么?”
“是标注数据。”刘大海也意识到上头了,赶紧收回来,“郑总您应该了解,我就简单。”
“咱们做模型训练,主要分几个阶段:先是预训练,这个阶段就是堆语料,恨不得把互联网上的东西全给它整进去。”
“第二步是监督微调。第一步训出来的模型好坏不分,微调相当于给它看作文范文,教它分明白啥是好赖话儿。”
“再往后还有对齐阶段,这个先不聊了。”
到这儿,刘大海叹了口气,继续道:“郑总,咱们做乾元的时候,占了数据量特别大的便宜,效果才好。现在做通用模型,大家用的语料差不多,互联网就那么多东西,你抓我也抓。真想拉开差距,还得看后训练阶段。”
“所以我,那个……对方效果能做到这么好,一定有好的标注数据。”
刘大海把韩路一的名字忘了,公司名也忘了,只好中途改口。
不行,回去得查查这个公司,还有那个叫赵文渊的技术负责人,看看他的论文。
能训练出这种水平的模型,不可能在学术界默默无闻。
一直沉默听着的郑晓波突然开口:“ScaleAI。”