请关闭浏览器的阅读/畅读/小说模式并且关闭广告屏蔽过滤功能,避免出现内容无法显示或者段落错乱。
底下的对话框里有一行灰色的字:“今天聊点什么?”
……
十三楼模型组,赵文渊没有独立办公室,和其他同事一样坐在开放办公区。
牛把外卖的生椰拿铁给赵文渊拿过来时,他还盯着屏幕上的日志。
他工位旁如今固定加了一把转椅。他和源码科技模型组的其他员工都习惯了——韩路一最近每天都会花几个时坐在这儿,跟他们一起写国产显卡的软件适配。
“文渊,怎么样了?”
韩路一的声音传来。
赵文渊闻声抬头,看见韩路一正走过来。
“韩总,你可来了,快坐。”赵文渊明显激动起来,“这两个算子我卡了半天,你快看看吧。”
这是两人最近形成的工作模式。
赵文渊带着手下用编程智能体做国产显卡适配。
每人分到一个算子,先设计一个通过基准——一般能达到N卡的百分之八十就算达标——再用智能体一轮一轮地试。成功率虽不高,效率却比手写高得多;试得多了,也有一些迁移效果不错。
碰上特别重要、特别难的,再汇报给赵文渊。
这种情况赵文渊一般也做不了什么,就等着韩路一来。
韩路一坐下后,认认真真从上到下看一遍,然后开始写,噼里啪啦输入一串提示词,关键参数和逻辑都写在里面,再回车,等五分钟。
难点就攻克了。
从最初的震惊、迷茫、怀疑世界,到如今,赵文渊已经适应了这种模式。
可能这个世界就是有天才吧。
有难题,找韩总。
我直接把韩总当随身老爷爷用不就完了?管他怎么做到的呢。
像现在,卡了全组两天的两个算子迁移,韩路一坐下十分钟就解决了。
第一个是RoPE。
这东西白了,是让模型知道一段文本里每个词所在的位置。短文本里问题不明显,可上下文一旦拉长到十六K,显卡那边的三角函数近似误差就厉害起来。之前测试时,前八K还算正常,往后生成结果就会出现莫名其妙的错位。
赵文渊他们试了两天,一直在精度和性能之间来回拉扯:精度压下去,速度掉得厉害;速度提上来,误差又爆。
韩路一坐下后只看了一遍日志,就让智能体把s/s查表的粒度重新切了一档,又把缓存策略改成按block复用。
五分钟后,十六K长上下文测试通过,性能损耗从百分之四十七降到百分之十八。
第二个是LayerNor。
这个算子看着简单,可训练里调用频率极高,慢一点,整条训练链路都会被拖住。韩路一改了两个访存顺序,又让智能体补上向量化读写,性能直接从N卡基准的百分之五十二拉到百分之八十一。
赵文渊当时看着那两个绿色PASS,心情已经很平静。
平静得有点麻木。
问题解决完,韩路一拦住赵文渊想接着工作的势头。
“停一下,我有别的事要和你商量。”
赵文渊看向韩路一。
“Nex那边开始动作了。我预测他们四月起就不会再给我们提供API接口,所以在那之前,我们得把汤圆1.0做出来,确保汤圆能接住Kaiwu海外版迁移过来的流量。”
赵文渊听完,在电脑上切了下屏幕,看了看训练进度,对韩路一:“韩总,时间上有点赶,但应该来得及。只是我比较担心双语适配问题。”
赵文渊调整坐姿,面向韩路一,谨慎分析起来。
“预训练问题不大,用的是互联网上的原始数据,本身英文居多。关键是后训练——模型的理解能力主要来自后训练的提升。你现在提供的那批标注质量极高,但都是中文,对英文能力的提升恐怕……”
赵文渊话没完,意思却到位了。
随即,他用期待的眼神看向韩路一:“韩总,不知道英文标注,你能不能——”
这就是赵文渊的新策略。
有需求,找韩总。
别管他怎么解决,反正他能给你解决。
直接问就完了。
韩路一看着赵文渊期待的眼神,沉默片刻,才缓缓点头:“……你确保训练进度,标注的事,我来想办法。”
完,他起身走了。
赵文渊赶紧投入工作。
刚才卡住的难题,韩路一虽然解决了,却是简单粗暴地给出正确答案。至于中间为什么这么做、和其他替代方案比有什么提升,这些都还是空白。
赵文渊现在要做的,是拿着问题和正确答案,补全中间的答题过程。这些对将来的研究和开发来,都是至关重要的资料。
他知道,韩路一不做这些繁琐工作,不是因为不会,而是工作繁忙,没时间。
把这些资料整理好,就是他赵文渊体现价值的地方。
况且,给天才解的题写文档,也不是谁都有机会做的啊。
想到这儿,赵文渊突然抬头,看向韩路一离开的方向。
奇怪,他刚才的脚步,看起来是不是有点儿沉重?