>

hjc888黄金城(中国)股份有限公司

您的当前位置: hjc888黄金城  >  新闻中心  >  学院新闻  >  正文

学院新闻

2021级博士生赵海睿的论文被计算机系统结构领域顶级会议USENIX ATC 2025接收

发布日期:2025-04-28 发布人: 点击量:

计算机科学与技术学院李洪亮副教授指导的2021级博士研究生赵海睿的论文“FlexPipe: Maximizing the Training Efficiency for Transformer-based Models with Variable-Length Inputs”CCF推荐A类会议2025 USENIX Annual Technical Conference (USENIX ATC 2025)接收。论文第一作者为赵海睿,共同第一作者为2023级硕士研究生田琦,通讯作者为李洪亮副教授,其他合作者包括美国加州大学河滨分校陈子忠教授。

该论文聚焦于变长数据集训练Transformer类模型时因计算与内存需求波动导致的系统效率下降问题,从分布式系统的角度出发,提出了全新的动态流水线并行框架FlexPipe。论文的主要贡献包括:首次引入在线动态调整机制,在保证训练正确性的前提下,根据不同迭代阶段的资源需求动态调整流水线并行配置,有效缓解资源利用不均的问题;提出了以最大化训练吞吐率为目标的资源分配优化问题,设计了高效的启发式算法进行求解。实验结果表明,FlexPipe在变长Transformer类模型训练中,平均可实现1.25倍于现有最优方法的训练吞吐率,显著提升了系统整体效率。

USENIX Annual Technical ConferenceUSENIX ATC)创办于1992年,是计算机系统结构和并行/分布式计算领域的顶级国际会议,为中国计算机学会推荐A类国际会议。这篇论文是我校作为第一作者单位被ATC会议接收的首篇论文。


Baidu
sogou