第289章 DPY-0.5(1 / 2)

请关闭浏览器的阅读/畅读/小说模式并且关闭广告屏蔽过滤功能,避免出现内容无法显示或者段落错乱。

陈铭宇已经在楼下等着了。

快五十的年纪,头发梳得整整齐齐,戴一副银色边框眼镜,穿着一件深灰色的夹克。看上去像个大学教授,但眼神里带着点商人的精明。

“董事长,路上辛苦了。”陈铭宇迎上来,跟李东阳握了握手。

“没事,直接去实验室。”

“行,徐若辰他们已经在等了。”

两个人往主楼里面走。研究院内部的装修比外面看起来简洁,大白墙,灰色地砖,走廊里挂着几块显示屏,上面滚动着各种数据图表。

“一期在2012年6月全部完善,投入使用,目前主要实验室和办公区都在一期,......。二期去年3月份扩征的,计划2015年10月建成。”陈铭宇说起来如数家珍。

“人够不够?”

“大语言项目的核心团队五十八个人,大部分是海外博士,少部分是硕士。还有一些辅助岗位,加起来大概一百二十人左右。”陈铭宇顿了顿,“研发强度没有问题,但如果我们想继续扩大规模,高端人才还是缺。国内做大语言模型的团队越来越多了,大家都在抢人。”

“钱不是问题。”李东阳说,“你看着招,薪酬对标硅谷。”

“明白。”

两个人走进电梯,陈铭宇按了四楼。

大语言模型项目的实验室在四楼,占了整整一层。出电梯的时候,门禁系统嘀了一声,陈铭宇刷了工牌,李东阳跟在他后面进去。

走廊两侧是玻璃隔断的办公室,透过玻璃能看到里面一排排的工位。大部分工位上都有人,盯着屏幕,手指在键盘上敲个不停。

“过年都没休息?”李东阳问。

“大年三十那天上午,我们开了个短会,跟大家说下午可以早点走。结果没人走。”陈铭宇笑了笑,“徐若辰他们觉得就差最后一口气了,憋着一股劲想把这个坎迈过去。年夜饭是在研究院食堂吃的,我让厨房加了十个菜,开了几瓶好酒。吃完了,大家又回去继续干了。”

李东阳没说话,点了点头。

这一点还得感谢陈润华。

整个园区的食堂工作人员,包括部分行政人员,都是他安排的靠谱的‘自己人’,凡事打菜的是自己人,能量珠从来是不吝啬的,一天一颗是标准。

所以连续加班,高强度的脑力活动下身体还能扛得住并且效率不降低这样的体质奇迹在深空工业研究院算是习以为常,这个现象并不仅仅出来在大语言团队,其他的比如固态电池,智能驾驶,海水一体化团队都是如此。

走廊尽头的会议室门开着,里头已经坐了七八个人。坐在主位旁边的是一个四十出头的男人,寸头,圆脸,戴着一副黑框眼镜,穿着一件普通的灰色卫衣,看起来不像个计算机博士,更像一个在小区门口修电脑的。

徐若辰。美籍华人,哈佛计算机博士,在谷歌待了六年,深度参与过谷歌早期的大语言模型项目。

2012年初被深空环球HR团队挖过来的,入职时陈铭宇亲自跟他聊了三个小时。

“董事长。”徐若辰站起来,其他几个人也跟着站起来。

“坐,都坐。”李东阳在会议桌对面坐下来,扫了一圈在场的人,“过年都没回去?”

“回去了也没心思。”徐若辰旁边的年轻人说了一句,大家都笑了。

陈铭宇在李东阳旁边坐下来,对徐若辰点了点头:“开始吧。”

徐若辰站起来,走到墙边的白板前,拿起记号笔,画了个简图。

横轴是序列长度,纵轴是计算量,画了三条曲线:一条陡峭向上弯曲的,标着O(n2);一条平缓很多的,标着O(nlogn);还有一条直线,标着O(n)。

“这个图大家应该都见过。”徐若辰在白板上点了点,“Transforr架构的核心是自注意力机制,这个是公开的秘密,所有人都知道。但自注意力机制的时间复杂度和空间复杂度都是O(n2),n是序列长度。序列越长,计算量的增长是平方级的。”

他转身看着李东阳:“打个比方。处理一段一万字的文本,如果每个字都要跟其他所有字做交互,总的交互次数是一个亿。”

“一个亿。”李东阳重复了一下这个数字。

“对。GPT在处理五千字文本的时候,注意力计算就占了总计算量的百分之七十以上。文本越长,这个比例越高。到了两万字,基本就是百分之九十了。”徐若辰放下记号笔,“这就是所谓的‘卡脖子技术难题’——长文本处理,成本高到离谱,效率低到发指。”