基于知识蒸馏场景下的样本生成

报告题目：基于知识蒸馏场景下的样本生成

报 告 人：王杨 博士 合肥工业大学计算机学院教授、博导

报告时间：2023年6月1日 16:20

报告地点：艺设西楼二楼213会议室

报告对象：计算机科学与技术学院研究生及其他感兴趣师生

内容摘要：近年来，基于数据安全与隐私问题，无数据场景下的知识蒸馏方法获得了越来越多的关注。然而，现有方法侧重于恢复原始数据，忽略了生成样本对于学生模型的适应性，在涉及老师-学生网络模型存在较大差异的情况下，仍然面临着诸多挑战。在本次报告中，我们首先通过以下几个问题介绍关于知识蒸馏的差异性研究：老师学生模型差异性为什么以及什么时候会影响学生的性能？如何衡量老师学生间的差异性？然后，我们立足无数据量化任务，通过泛化误差分析，深入研究孤立学生模型所导致的欠拟合、过拟合问题。围绕生成样本的适应性，首次提出零和博弈观点进而分析无数据量化，解决了模型差异性问题，同时为生成样本构建上下边界，通过边缘优化，在无数据蒸馏过程中实现理想样本的生成。。

报告人简介：王杨，合肥工业大学多媒体实验室教授，博士生导师。入选安徽省高层次人才计划，担任信息搜索领域顶级杂志 ACM Transactions on Information Systems (CCF Rank A) 副编(Associate Editor, 2019至今)。入选斯坦福大学2022年9月统计发布的人工智能与图像处理领域 前2%全球顶级科学家。至今在模式识别，多媒体计算相关领域的顶级杂志与会议上发表文章80篇，其中 ESI 高被引文章7篇，并且全部进入top 1% 列表,发表源包括 Artificial Intelligence (Elsevier)， International Journal of Computer Vision (lJCV)， IEEE TIP, ACM TOIS, Machine Learning (Springer), IEEE TKDE, VLDB Journal, CVPR, ECCV, ACM SIGIR, ACM KDD, AAAI, IJCAl, ACM Multimedia, SCIENCE CHINA Information Sciences (中国科学:信息科学), 其中两篇论文入选paperdigest2021/03版本的IJCAI 最有影响力文章之一， 主持国家自然科学基金联合基金重点项目，面上项目等，同时担任国家自然科学基金 优秀青年基金(海外)项目，面上项目评审专家。 谷歌学术引用5000+， H-因子 34。