全本小说网 > 都市重生 > 首富从看见信息面板开始 > 第一百九十一章 分成两段的人生

第一百九十一章 分成两段的人生(2 / 2)

请关闭浏览器的阅读/畅读/小说模式并且关闭广告屏蔽过滤功能,避免出现内容无法显示或者段落错乱。

前半段,他疯狂努力证明自己,想让父母骄傲;后半段是什么,他还不知道。

江松然一边等母亲来换班,一边无聊地刷信息流,目光在其中一篇上停了一下。

《算力国产化,未来五年最大的变量》。

看到标题,江松然在心里久违地笑了一下。

这些媒体估计都不知道自己在什么。

算力国产化、国家级战略资源——这话当然谁都会。

可对像他这样专门干这一行的人而言,这话有点脱离实际。

无他,门槛太高了。

这就像在“我们应该解决气候问题”一样,是句正确的废话。具体要做什么?怎么做?花多少钱?周期多长?代价是什么?没人得出来。

关掉新闻,江松然在电脑上点开新页面:arXiv。

这是个免费发布论文的网站,尤其在AI与计算机系统圈,几乎所有新研究都会先挂上去。不用等期刊评审,不用等会议接收;写完发上去,当天全世界都能读到。

圈里人管这叫“挂上去”。

每天早晨刷一遍arXiv,看看关注的几个分类下有没有新东西,是这个圈子里大部分研究人员的基本习惯。

江松然这个习惯保持了十几年:从上学到谷歌,再到创业公司。

回国陪床两个多月,虽已没有工作要做,每天刷arXiv的习惯却还留着。

江松然的目光从上到下快速扫过,一篇新发布论文的题目吸引了他的注意。

《OnAdaptgMeory-EffitAttentiontoNon-CUDAHeterogeneoAelerators:ASgle-OperatorCaseStudy》(非CUDA硬件上的注意力算子适配:一个单算子的案例研究)

作者只有一个:WenyuanZhao。

江松然在脑中过了一遍这个名字,没什么印象;点进作者页一看,其他论文都与训练架构理论相关,这篇是他第一篇涉及硬件领域的论文。

江松然心中一动:如今非CUDA适配这么热门了?其他领域的研究者也跨界来研究?还真是天下苦英伟达久矣。

他又退回去看团队名:SourtelligenceAI,一个没听过的中国公司。

江松然生出一种复杂的感觉:这也是在做算力国产化,里面到底有多少真东西?又有多少是噱头?

最终,他还是点开看了。

最打动他的,是这篇论文只有一个作者。

在工业界做过科研的人知道,公司发论文很少出现单作者。不是一个人做不了研究,可既然公司赞助了研究,相关方总得挂个名吧?

单作者很少见:要么真没有团队,要么公司不在乎,只给主要研究者署名。

无论哪种情况,这篇论文都值得一看。

PDF加载出来,江松然先看摘要。

“本文报告了一款国产非CUDA加速器上内存高效注意力机制的端到端实现:在单节点8卡配置下,吞吐达到对应参考实现的83%,数值误差在2.3e-6以内。”

看完摘要,江松然在心里嗤了一声。

这数据,注水了吧。

既然已经打开,他还是耐着性子往下看。

出乎意料,论文结构清晰,数据详实,用词严谨;实现一节甚至给出具体优化方法和一些代码片段,有心的话,复现起来应该很容易。

但最触动江松然的,还是局限性那一节。作者诚恳写道:“本工作只完成了单算子(SDPA)的实验性适配工作,没有涉及LayerNor、Softax以及各类Optiizer等数十个其他算子;没有涉及多卡间通信库;也没有涉及训练场景下的反向传播与混合精度优化,所以还不能构成一套可用的训练栈。”

江松然叹了口气:这个作者一句话就把他们这些研究者的困境写透了。

这种吃力不讨好的事,国内竟真有人做。是,你可以一个一个研究,研究出一个,还能发一篇论文。

可整套生态里,只要有一个关键算子没做完,就真没什么用。

这种活儿江松然熟得很,谷歌TPU团队的头两年就是这么熬出来的。

只不过谷歌当年有几百名工程师;这个叫Sourtelligence的团队有多大?又投了多少资源?

江松然在心里默算:从论文提到的内容,到从头做出一套国产化训练生态,今天到底还差什么。

剩下的几十上百个算子、多卡通信库、分布式训练框架、编译器、容错与检查点——这么大的量,远不是一个公司做得出来的。

如果国内真能有几百个团队,都像这一个那样沉下心,安静地做这种没人鼓掌的事,国产化也未必没有可能。

可惜,没有几百个这样的团队。

正想着,母亲从外面进来,一进门就唠叨。

“松然,累坏了吧?快回去睡会儿。你在医院陪床也得注意休息,别你爸还没醒过来,自己先病倒了……”

江松然确实累坏了。

他和母亲交代几句,略收拾一下,拿上电脑,走出病房。

走到住院部一楼,他看见一个瘦高帅气的年轻人站在大门边,背着双肩包,像在找人。

江松然正看着,那年轻人也看过来,似乎看到了他,冲他笑着点头,向他走来。

那人的眼神亮得惊人。

江松然不确定他是不是冲自己来的,也点头回应。