眼下带著淡淡的青黑,显然是没休息好,脸上却强装著镇定,扫视了一圈实验室,沉声说道:
“都別忙了,正常发挥就好,肖宿同学是来交流学习的,不是来考核咱们的,放宽心。”
话虽这么说,周庆宇自己的手心却全是汗。
昨天傍晚,顾清尘的电话突然打过来,说肖宿想看看实验室的算力系统,当时周庆宇手里的水杯差点摔在地上。
他从事算力研究二十余年,见过的天才不计其数,甚至和it、斯坦福的顶尖算力专家有过合作,可从来没有像现在这样激动又紧张。
那可是肖宿啊。
十六岁就攻克周氏猜想、孪生素数猜想,如今又疑似证明哥德巴赫猜想,还研发出全球顶尖ai的天才少年。
全球学术界都要抢著拉拢的香餑餑,多少高校和科研机构挤破头想邀请他去做讲座、搞合作,都被他婉拒了,如今竟然主动找上门来,要来他们这个算力实验室看看?
周庆宇一夜没睡好,脑子里反覆回想实验室现有的算力调度算法,琢磨著肖宿可能会提出的问题,甚至连夜翻出了肖宿发表的所有论文,哪怕其中很多关於数论、辛几何的內容,他看不太懂,也硬著头皮啃了一遍。
“周主任,肖神来了!”门口的研究员突然小声喊道,语气里带著一丝雀跃。
周庆宇立刻回过神,快步迎了上去。
只见肖宿穿著简单的白色t恤和黑色运动裤,背著一个双肩包,神色平淡,和普通的京大学生没什么两样,可周身那种从容不迫的气场,却让人不由自主地心生敬畏。
他身后还跟著林砚,手里抱著一台笔记本电脑。
“肖宿同学,欢迎欢迎!”
周庆宇伸出手,语气里难掩热情,“我是算力研究室的周庆宇,早就听说你的大名,一直想找机会向你请教,没想到你竟然主动来了,真是蓬蓽生辉啊!”
肖宿轻轻握了握他的手,语气清朗而平稳:“周老师好。”
想了想又补了一句,“打扰了。”
周庆宇连忙迎上去:“不打扰不打扰,肖宿同学,快请进,这位是” “林砚,肖宿的助手。”林砚咧嘴一笑,自觉地把自己定位得很清楚。
周庆宇把他们引到会议区,宋晓曼已经沏好了茶。
肖宿没有坐,目光越过所有人,直接落在了那三排机柜上。
黑色的机柜靠墙排列,指示灯像繁星一样明灭闪烁。
散热风扇的嗡鸣声低沉而持续,像某种巨大生物的呼吸。
透过玻璃柜门,可以看到里面插满了一块块计算卡,线缆整齐地綑扎成束,沿著走线架延伸到天花板上的桥架里。
这是京大高性能计算中心的家底。
三台管理节点,四十八个计算节点,每个节点八张gpu加速卡,总共三百八十四张卡。另外还有两组专门做数据存储的磁碟阵列,和一个从去年才开始搭建的液冷实验集群。
这些设备加在一起,峰值算力大约是两点八个pflops。
这个数字放在国內高校里算得上第一梯队,但跟深度求索那种动輒上万张h100的商业公司比起来,差了一个数量级。
不过肖宿今天来,关心的不是算力总量。
他关心的是算力被使用的方式。
周庆宇站在机柜旁边,开始介绍情况。
“我们目前的调度系统用的是sr框架,搭配自主研发的能耗管理模块。调度策略上,我们採用的是改进后的加权公平队列算法,结合动態电压频率调节来平衡负载,具体的资源分配逻辑是”
他说了大概三分钟。
肖宿一直没说话,只是安静地听著,目光在机柜的指示灯和旁边监控屏幕上的实时负载曲线之间来回移动。
等周庆宇说完,肖宿才缓缓开口。。
“你们现在的调度策略,是针对高维特徵空间设计的吧?”
周庆宇愣了一下,隨即点头:
“对,目前主流的ai训练任务,特徵维度都很高,所以我们默认按照高维张量运算的负载模型来分配资源。
这个策略是我们去年在sc会议上发表的,核心思想是把高维张量拆分成多个低维子块,然后分配到不同节点上做並行计算。
业內评价还不错,有几个学校还专门来我们这儿取过经。”
肖宿站在监控屏幕前,目光落在那条负载曲线上,看了一会儿。
实验室里的人都没有出声。
周庆宇站在他侧后方,手里还攥著刚才介绍系统时用来指屏幕的笔,笔帽不知道什么时候被他在指尖转鬆了,发出细微的咔咔声。
他自己都没注意到。
所有人的注意力都在肖宿身上。
“周老师,你们的调度器在处理通用ai训练任务的时候,节点利用率大概是多少?”
周庆宇微微鬆了口气,这个问题他答得上来。
“通用任务的话,gpu平均利用率在百分之七十五到八十五之间,峰值能到九十以上。”
他说这话的时候语气里带著一点