本网讯(通讯员 朱丽娜)2020级硕士研究生赵凡的论文“Complementary Parts Contrastive Learning for Fine-grained Weakly Supervised Object Co-localization”被国际期刊IEEE Transactions on Circuits and Systems for Video Technology,TCSVT(中科院一区)接收。论文的通讯作者为洪汉玉教授。赵凡于2020年进入中文博彩平台洪汉玉教授的光电信息与模式识别湖北省重点实验室攻读硕士学位,导师为马雷老师。
期刊简介:《IEEE Transactions on Circuits and Systems for Video Technology》是IEEE旗下视频技术领域顶级学术性汇刊之一,JCR一区期刊,在相关领域具有重要的影响力。该期刊发表的论文主要方向为面向图像视频信号的采集、表示和显示,处理、滤波和变换,分析和合成,学习和理解,压缩、传输和通信,存储和检索,硬件/软件设计和实现等。
期刊类别:中科院一区
论文题目:Complementary Parts Contrastive Learning for Fine-grained Weakly Supervised Object Co-localization
论文概述:弱监督目标协同定位的目的是在只包含一个元类别的数据集图像中找到共同的感兴趣的目标对象的位置。最近的方法通过多实例学习和自监督学习取得了令人印象深刻的协同定位性能。然而,这些方法忽略了细粒度目标所共享的共同部件信息以及互补性部件对细粒度目标协同定位的影响。为了解决这些问题,我们提出了一种用于细粒度弱监督目标协同定位的互补性部件对比学习方法。该方法遵循这样一个假设:具有相同或者不同语义的细粒度目标部件在特征空间中应该具有相似或者不相似的特征表示。所提出的方法解决了这个任务中的两个关键问题:(1)如何分散模型的注意力并抑制复杂的背景噪声;(2)如何利用跨类别的共同部件信息来缓解上下文共生问题。为了解决问题(1),我们试图通过三种类型的注意力,包括自监督注意力、通道注意力和空间注意力来整合本地和背景线索,以分散模型的注意力,使模型自动识别和定位细粒度图像中目标对象的最有鉴别力的部件。为了解决问题(2),我们提出了一个跨类别的目标互补性部件对比学习模块,通过拉近相同的部件特征和推远不同的部件特征来识别具有不同语义信息的部件区域,这可以减轻周围环境的共生问题所造成的混杂偏差。广泛的定性和定量评价证明了所提出的方法在四个细粒度协同定位数据集上的有效性。
模型框架:
部分实验结果图:
(审稿:谢春晖)