南华大学计算机学院研究成果被人工智能领域顶级国际学术会议NeurIPS 2026录用

  湖南日报·新湖南客户端   2026-10-10 17:04:38

湖南日报·新湖南客户端10月10日讯(通讯员 向乐芹)近日,第40届神经信息处理系统大会NeurIPS 2026(Conference on Neural Information Processing Systems)论文录用结果揭晓,南华大学计算机学院的研究成果《AdaCal: Adaptive Calibration for Robust Sparse Attention in Long-Context LLMs》(第一作者:24级研究生向乐芹,通讯作者:刘永彬教授)被录用。NeurIPS是全球人工智能与机器学习领域最具影响力的学术盛会之一,被中国计算机学会(CCF)推荐为A类会议,与ICML、ICLR并称为机器学习领域三大顶级会议。

南华大学计算机学院研究成果被人工智能领域顶级国际学术会议NeurIPS 2026录用

南华大学计算机学院研究成果被人工智能领域顶级国际学术会议NeurIPS 2026录用

论文《AdaCal: Adaptive Calibration for Robust Sparse Attention in Long-Context LLMs》针对自注意力计算开销随序列长度平方增长、大语言模型长序列推理中预填充阶段易成瓶颈的问题展开研究。静态稀疏注意力通过预定义掩码降低计算量,但可能遗漏对任务至关重要的证据;动态稀疏化虽然更加灵活,却可能在不同任务中表现不稳定,导致覆盖不足或引入干扰信息。该研究提出AdaCal,一种旨在提升稀疏注意力稳健性的自适应校准框架,将基于经验的粗粒度任务分派与逐注意力头的物理特征分析相结合。AdaCal从轻量级探测模式中提取熵、集中度和中部区域覆盖率指标,动态决定哪些注意力头需要启用补充计算,以及采用何种扩展策略,从而按需分配额外计算资源。针对不同任务的策略能够抑制结构主导型输入中不必要的扩展,同时提高检索密集型任务对远距离信息的覆盖。实验表明,相较于具有竞争力的静态和动态稀疏注意力基线,AdaCal具有更好的稳健性,且在超过32K tokens的长上下文设置中优势更为明显。

责编:胡怡

一审:胡怡

二审:彭国军

三审:徐德荣

来源:湖南日报·新湖南客户端

版权声明

版权作品,未经授权严禁转载。湖湘情怀,党媒立场,登录华声在线官网www.voc.com.cn或“新湖南”客户端,领先一步获取权威资讯。转载须注明来源、原标题、著作者名,不得变更核心内容。