报告题目：跨模态噪声关联学习

讲座时间：2024年11月19日19:00-21:00

腾讯会议：183 269 084

报告摘要：深度神经网络的成功依赖于高质量标记的训练数据，而收集良好标注的大规模跨模态数据的成本高昂。为了降低数据收集的高成本，可从互联网上收集同时出现的跨模态对（例如图像和文本）作为大规模的跨模态数据集。然而，这将不可避免地会在训练数据中引入噪声（即不匹配的对），称为噪声关联。毫无疑问，这种噪声会使监督信息不可靠/不确定，并显著降低性能。针对这一问题，本次报告将汇报一种新的噪声标签学习范式，称为噪声关联学习（Learning with Noisy Correspondence）。传统的噪声标签学习主要围绕分类任务展开，旨在消除训练样本的错误类别标签所带来的负面影响。不同于标准的噪声标签学习，噪声关联学习旨在削弱甚至消除成对训练数据中的错误关联关系造成的影响，例如多模态训练数据中的图文不匹配，对话系统中的答非所问等。具体地，本次报告将详细汇报一种广义的深度证据跨模态学习框架。该框架将基于跨模态相似性的双向证据建模并参数化为Dirichlet分布，以捕获噪声关联引起的不确定性，这不仅提供了准确的不确定性估计，而且还赋予了对噪声关联扰动的弹性。

讲者简介：胡鹏，四川大学计算机学院副研究员，博士生导师，国家级青年人才，CSIG青工委副秘书长，VALSE执行领域主席委员会副主席。主要研究方向为机器学习和多媒体分析。2019-2020年在新加坡科技研究局（A*STAR）担任研究员。已在TPAMI、TIP、CVPR等JCR一区期刊及CCF A类会议上发表长文七十余篇。研究成果获得中国图象图形学学会（CSIG）自然科学一等奖。担任TPAMI、TIP、CVPR、ICCV、ECCV、NeurIPS、ICML、ICLR、AAAI等期刊和会议领域主席/高级程序委员/审稿人。