全本小说网 > 都市重生 > 首富从看见信息面板开始 > 第一百八十三章 这不是有戏了吗?

第一百八十三章 这不是有戏了吗?(2 / 2)

请关闭浏览器的阅读/畅读/小说模式并且关闭广告屏蔽过滤功能,避免出现内容无法显示或者段落错乱。

况且你不是已经在做标注了吗?

赵文渊没把这些话出口,乖乖地从代码库里找出一个算子的代码做例子。

scaled_dot_product_attention

这是变形金刚(Transforr)架构中比较重要的一个算子,可以没有它,就做不了大模型。

“N卡那边有专门的函数,性能和精度都做过深度优化,我手头连个等价实现都没有。”

韩路一拉过一把椅子坐在电脑前,接过鼠标,打开浏览器,把相关的CUDA源代码、国产显卡的IR文档、HCCLSDK都打开来。

赵文渊在旁边看得一愣:

“韩总,你要干什么?——你不会是要、要自己写吧?”

韩路一头也没抬:“试一试。”

试一试?赵文渊心里吐槽:韩总,这可是一个团队几个月的工作量。

韩路一已经打开视界,把CUDA实现中的几个关键地方都扫了出来,然后把要适配国产显卡的要点总结了一下。

接着,韩路一在赵文渊的电脑上打开了姜亦心的AI智能体编程工具。

但他没把视界看到的关键信息都输进去。

他想先看一眼,仅靠模型自己能做到什么程度。

他输入了第一段提示词:

“把这个CUDA算子翻译成国产卡IR实现。要求精度误差于1e-5,性能不低于N卡实现的70%。使用

然后把浏览器里的链接地址都打了进去。

很快,AI智能体开始自己分解任务、解决任务,最后汇总。

三分钟后,第一版结果就出来了。最终性能接近68%,但精度偏差太大。

一个大大的红色FAIL显示在屏幕上。

赵文渊在旁边松了一口气。

这才正常嘛。

他对韩路一:“韩总你看,这就是我的难点,做不过来——”

韩路一没有回应赵文渊。

他重新打开CUDA的源代码,同时打开了视界。

现在韩路一已经完全了解问题是什么了:赵文渊既不是解决不了开发难度,也不是没有方向和思路。

他只是没有时间像英伟达之前做的那样,一点点找到和他们硬件最匹配的参数。

想做可以,老老实实把人力物力和时间花进去,最后也能把适配做完,但这恰恰是英伟达的护城河所在。

如果自己适配的代价比直接买英伟达的成品还大,谁还有动力去做这件事?

现在唯一的好处是,视界可以不用一步一步实验,直接找到最优解;甚至不仅是最优解,连为什么这个是最优解、怎么来的都知道。

比如,为什么Softax的最优解不是垂直实现,而是分成三个阶段?这不是额外制造了冗余吗?

为的是避免在少见情况下的数据溢出问题。

再比如,什么是矩阵乘法分块的最佳尺寸?太大了放不下,太了效率低。这个本来要一个一个试才能得到的数据,视界直接就能给出解答。

很快,韩路一把几个关键数据输入到第一版的提示词里。这样智能体就不会自由发挥、尝试去找最优解,而是按照韩路一的提示词执行即可。

“Softax使用三阶段算法,并且在第二阶段的Reduce中,确保局部最大值的指数和更新顺序保持一致。”

“矩阵乘法的大使用64x64。”

……

韩路一连续输入了十几条具体的调优指令,然后把修改后的提示词一起发给智能体。

智能体又回去勤勤恳恳地干活儿了。

五分钟后,一个大大的绿色PASS出现在屏幕上,效率和精度都达标了。

赵文渊坐在旁边,人已经傻了。

他不顾韩路一还坐在电脑前,把头凑到屏幕前,把测试报告从头到尾看了一遍。

精度误差是2.3e-6,远低于1e-5的要求。

性能也达到了N卡实现的83%。

不信邪的赵文渊直接打开生成的原始代码,逐行看了起来。

他越看越沉默。

整段代码的结构和之前一次生成的大差不差,但所有需要经过大量测试才能得出来的结论都被替换成了新值,而这些新值导致了结果的变化。

这是一个对底层硬件有深刻理解的人才能写出来的东西。

不,准确地,是一个对底层硬件有深刻理解的人,才能指导AI写出来的东西。

赵文渊转过头,看着韩路一。

“韩总,这些值,你都是怎么确定下来的?你怎么知道它们能过?”

韩路一往后靠在椅背上,微微一笑:“我看了文档。”

“我去,原来你看了文档啊,不早。”赵文渊先开了个玩笑,然后声音突然拔高,“我也看了两天文档,跑了十几个测试,我都没找到这个tile尺寸,你看了几分钟就看出来了?”

韩路一没有回答,只是接着笑。

赵文渊盯着他看了好一会儿,最后像泄了气一样靠回椅子上。

“行吧。”他叹了一口气,道,“我不问了。”

他之前不是没想过用AI来做这些工作,但AI根本做不了。每次跑出来的结果,不是卡死,就是偏差太大。

怎么韩路一一上手就好用了?

赵文渊现在只想火速删掉发给韩路一的那个共享文档的标题。

韩路一在他眼前,把他觉得不可能的事情做出来了。

如果这个不是偶然呢?

如果scaled_dot_product_attention可以这样做,那其他算子呢?

什么暂无可行性啊?

什么叫“别想了,没戏”啊?

这不是有戏了吗?

他现在非常想让那个前同事过来现场看看。