全本小说网 > 都市重生 > 首富从看见信息面板开始 > 第一百九十八章 期待与你的合作

第一百九十八章 期待与你的合作(1 / 2)

请关闭浏览器的阅读/畅读/小说模式并且关闭广告屏蔽过滤功能,避免出现内容无法显示或者段落错乱。

赵文渊回头看了看江松然的表情,内心暗爽。

天天看别人装逼,今天也让我装一回。

他表面上云淡风轻的了一句:「是源码科技自己开发的,现在还在内测,估计很快要推向市场了。」

江松然半天没有话,良久才又开口问道:「你们————咱们自己做的?」

赵文渊看江松然的心理承受能力还可以,就继续往下:「是的,最早的灵感来源於源码的一款产品,开物。本来是面对没有技术背景的用户,後面是自研的代码大模型,用户完全不用懂代码,不用介入运行,用中文就可以进行叠代。」

赵文渊看了看江松然的反应,觉得他应该已经知道开物了。

「源码的姜总把这个思路应用到开发流程中来,做了这个智能体工具。」赵文渊完,突然问,「你刚才在

江松然摇了摇头,他刚才直接和沈丛云上来了,没机会接触源码科技那边的员工。

但是他心里知道,能主导这个级别的项目,这个姜总一定是源码科技的核心人物,暗暗期待一睹他的风采。

「有机会介绍你认识,你会喜欢她的。」赵文渊完,把话题拉回到工作上。

「总之,我们的工作流程就是这样的,把算子适配和叠代的工作分发到每个组员的手上,如果有人进度被卡住了再一起讨论解决的方案。」

江松然点了点头,怪不得他刚才看到的工作模式是那样的。

有这样的工具,就不奇怪了。

这麽看下来,这个工具大大的节省了具体实现代码、进行实际测试的时间,但它也不是什麽黑科技,更不是黑魔法。

能解决的问题,还是一样能解决,只是更快了。

不能解决的问题,靠这个工具依然解决不了。

对於真正懂原理的人来,节省下来的时间最多,帮助也最大。

101看书追书就上101看书网,s.?超实用全手打无错站

反而对那些本来就一知半解的人来,即使有了这样的工具用处也不大,解决不了的问题还是解决不了。

能做出十个算子的适配工作,这个技术团队的实力还是很强的。

他相信,凭着自己的技术能力和经验,配合着这套工具,加上这样的团队,把国产显卡的全链路适配做出来,不是没有可能。

江松然暗自点头。

然後他开口指着屏幕上的结果:「这个算子暂时不用做到百分之八十。」

赵文渊一愣,问:「为什麽?」

「因为咱们现在缺的不是这个算子的单点性能。」江松然指了指屏幕,「它能跑,功能正确,性能有67%。如果目标是出论文,当然要把它调到80%以上,但如果目标是三月初跑通第一批国产卡集群,现在最应该做的不是继续死磕这个点。」

赵文渊的表情认真起来。

「那应该做什麽?」

「跑端到端。」

江松然把屏幕上的几个文件夹点开。

「把已经达标的这些算子拉出来,先组一条最链路。模型可以,分片可以,数据可以用假的,但是链路必须完整,完成端到端的调试。

77

他一边,一边在旁边的白板上写了起来。

模型加载、前向、反向、梯度同步、优化器更新、检查点备份、恢复。

江松然把七个步骤写在白板上,中间没有任何停滞。

他这几年做的全部事情都在这条链上,对这些知识、和实践中可能遇到的问题,全都已经烂熟於心了。

刚才写这个流程图,花时间最多的反而是在心里把这些词的英文都找到中文翻译。

流程图写完,江松然开口道:「虽然三月初只跑推理,但训练才是大头,端到端必须现在就摸清,不然到时候再补就来不及了。咱们现在用的这个「算子打靶法」是对的,但是既然时间紧、任务重,现在这个阶段最重要的是有大局观,从宏观上调节好优先级。」

他边边用马克笔在白板上点了点:「否则,每个人都在优化自己手里的算子,等到最後拼起来的时候,真正的瓶颈才会显现出来,到那个时候就晚了。」

赵文渊看着白板上的内容,陷入了沉思。

江松然是对的。

迄今为止赵文渊带领团队做的都是基於「点」的工作,一个算子一个算子在推进。

这麽做当然是必要的,没有所有的必须的点,是不可能连成线的。

但是系统训练不只需要点,想要连线的时候不出错,那现在就得开始连了。

赵文渊算是见识到江松然的厉害了,入职的第一天上午,连项目进度都没看全,就把现在这个路线最大的隐患指了出来。

赵文渊转过椅子面对江松然,道:「江博士,你觉得我们现在应该怎麽办?」

江松然整理了一下思路,回答道:「第一阶段的目标如果只是跑推理的话,没必要追求N卡80%的效率,用不满,优先把必要的算子做完跑通,我刚才看了一下,除了十个已经标绿的,还有二十三个已经过了60%的线。」

江松然到这,低头看了一下屏幕,自己纠正自己道:「二十四个,加起来是三十四个。」

江松然坐回椅子,把椅子往屏幕前挪了挪,开始在表格里圈算子。

「反向、优化器更新、梯度同步,这几类先排後,三月初的推理用不到,等四月调训练的时候再回来做。」

赵文渊点了点头,这几类在表里占了不少,确实都是训练才用得到的,先放一放完全合理。

「再看推理路径。」江松然把光标移到表格的前半段,「矩阵乘、LayerNor

softa、激活,这几类已经标绿了。注意力相关的算子在哪儿?」

赵文渊往下翻了翻,指了一项:「标准Attention,61%。Fsh—Attention那一版还没排上。」

「Fsh不用,先用标准的,能跑就行。」江松然,「KV—cache的读写呢?」

「这里,64%。」

「够了。」江松然往後靠了靠,「再加一个采样,一个RMSNor。这两个简单,融合不融合都行,先有了再,我数一下啊。」

他在表里点了点,停在最後。

「差两个。」

赵文渊愣了一下。

他原本打算的是把所有的算子都做到80%,卡住的地方直接呼叫随身老爷爷韩路一,按现在的速度可能要做到二月底了,到时候再做端到端。

但是现在被江松然这麽一拆—

只差两个了。

「你这————」赵文渊一时不知道怎麽接话了,「这两个我让组里今天就开。」

「不急。」江松然摆了摆手,「先把已经达标的这三十四个用现成的脚手架串起来,跑一遍空载,把链路打通,这两个等做好了再补进去,到时候哪儿不对一目了然。」

赵文渊点头,站起来转身去喊人。

他一边走一边又有点儿懊恼。

今天又装逼失败了。