刘威威教授课题组三篇论文被ICML·2023录用

近日，计算机学院教授刘威威课题组的三篇论文被机器学习顶级会议ICML·2023录用，其中一篇录用为口头报告（oral）。武汉大学计算机学院为三篇论文第一署名单位，刘威威为通讯作者，2020级博士生高瑞、2022级博士生余成林与2021级硕士生王泽铠分别为论文的第一作者。

第一篇论文题目为“DDGR:Continual Learning with DeepDiffusion-based Generative Replay”。一直以来，图像分类领域流行的深度学习模型存在灾难性遗忘问题，即模型在学习新技能时会忘记以前获得的技能。生成重放方法是减轻灾难性遗忘的一种有效方法，其通常由生成器和分类器组成。然而，传统的生成回放方法通常只关注生成器对分类器的指导作用，忽略了生成器同样可以从分类器上受益。此外，现有的生成重放方法通常采用GAN或VAE作为生成器，从而忽视了扩散模型（diffusion model）在抑制灾难性遗忘上的应用。为此，作者提出了一种新的基于深度扩散模型的生成重播方法（DDGR）：作者以扩散模型为基础，提出了一种生成器和分类器双向指导的生成重放方法，即通过分类器计算指导算子（instruction-operator）来指导生成器生成样本。作者在class incremental（CI）和class incremental with repetition（CIR）两种场景下进行了大量实验，从而证明了提出方法具有的优势。

第二篇论文题目为“Delving into Noisy Label Detection with Clean Data”。噪声标签学习的一个关键元素是噪声标签检测。许多之前的工作在噪声标签检测任务中均假定不存在任何干净数据。而该论文放弃此假设，并假定存在一部分干净训练数据，促使了噪声标签检测性能大幅度提高。具体而言，该论文通过将带有干净数据的噪声标签检测问题形式化为一个多重假设检验问题，提出了一个新的可利用干净数据的噪声标签检测框架。并且将Benjamini-Hochberg过程和深度神经网络进行整合，提出了一个新的噪声标签检测方法——BHN。BHN取得了最先进的检测性能，噪声标签错误发现率超过基本方法28.48%，F1超过基本方法18.99%。该篇论文录用为口头报告（oral）。

第三篇论文题目为“Better Diffusion Models Further Improve Adversarial Training”。两年前已有研究表明，利用扩散模型生成大量数据可以提升模型的鲁棒准确率。经过两年时间，扩散模型取得了快速发展，研究者不禁好奇：更先进的扩散模型可否进一步提升模型的鲁棒准确性？该论文利用当前效果最好的扩散模型，在领域公认的模型鲁棒性排行榜（RobustBench）上取得了最先进的鲁棒准确率，甚至超过了之前利用了额外数据集的工作。相比于之前最先进的结果，研究中的鲁棒准确率在CIFAR-10上改进了4.58%，在CIFAR-100上改进8.03%，展示了该论文方法的巨大优势。此外论文还利用大量实验研究了生成模型迭代步数、生成数据量等参数对鲁棒过拟合效应和模型效果的影响。

据了解，国际机器学习大会（International Conference on Machine Learning，简称ICML）是由国际机器学习学会（IMLS）主办的机器学习国际顶级会议。今年举办的ICML·2023共收到有效投稿论文6538篇，其中共计1827篇被录用，被录用的稿件反映了机器学习与人工智能领域国际最前沿的研究水平。会议将于今年7月22日在美国夏威夷举行。