能效感知的大模型推理优化技术

报告题目：能效感知的大模型推理优化技术

报告人： 沈典 东南大学青年首席教授，博士生导师

报告时间： 2026年9月23日 16：00

报告地点：安徽工业大学秀山校区先进技术研究中心903

报告对象：计算机科学与技术学院及相关师生

主办单位：计算机科学与技术学院

报告人简介：沈典，东南大学青年首席教授，博士生导师，国家级人才，江苏省优青，国家卓越工程师学院副院长。主持国家自然科学基金青年科学基金B类/面上项目、江苏省基础研究重点项目课题等多项国家级、省部级科研项目，在Nature子刊以及CCF推荐A类ToN、TMC、EuroSys、INFOCOM、DAC等期刊和国际会议和期刊上发表论文30余篇，获IEEE MSN 2022最佳论文奖，2024年度ACM Nanjing Chapter新星奖。开源软件eNetSTL应用于国产OpenAnolis操作系统，并担任ACM SIGCOMM 2024 AE、IWQoS 2026, ACM CoNEXT 2025 OC、APNet 2024-2025 OC等委员。作为指导教师获挑战杯“揭榜挂帅”国家级一等奖、二等奖，指导研究生获国家自然科学基金博士生基金项目。

报告内容：随着大模型技术快速发展，AI 基础设施规模持续扩张，全球算力与数据中心体量飞速增长，大模型推理请求量爆发式提升，带来严峻的能源消耗压力，大模型推理能耗优化已经成为行业亟待解决的关键问题。当前推理场景存在负载动态多变、请求共享批处理执行、硬件与推理框架多层耦合等特点，面临细粒度低开销系统观测难、共享执行下请求能耗难以拆解归因、动态负载中兼顾性能与能效的推理优化困难三大核心挑战。本研究构建一套包含观测、归因和优化的技术链路，为大模型推理服务实现降本增效、算电协同提供可行的技术支撑。