CutLER:一种用于无监督目标检测和实例分割的方法
本文的工作研究了无监督的目标检测和实例分割,不使用人工标注。
本文分享自华为云社区《CutLER:一种用于无监督目标检测和实例分割的方法》,作者:Hint。
目标检测是计算机视觉中的一种重要任务,使AI系统感知、推理、理解目标。训练定位模型需要特别的标注,比如目标的框、掩膜、定位点等。本文的工作研究了无监督的目标检测和实例分割,不使用人工标注。首先提出了MaskCut方法,可以自动的生成初始的粗糙掩膜,然后提出一种简单损失函数来帮助检测出MaskCut遗漏的目标。最后发现预测出的掩膜比初始的掩膜还要精细,因此可以迭代的训练检测器,进一步优化。
该方法的总体框架如上图所示,该模型首先使用了DINO[2]的自监督特征来生成二值掩膜,结合了Normalizes Cuts技术,改善了该技术中只能生成单个前景目标掩膜的缺陷,具体见公式2、3。这样就获得了一张图片中多个前景目标的粗糙掩膜。
然而在标准的检测训练损失函数中,会惩罚预测区域和ground truth区域不重叠的位置。这限制了检测器去发现新的目标,所以作者提出了一个新的损失函数,当预测和粗糙掩膜的IoU超过一定阈值时,该预测才参与loss的计算。最后作者采用了多轮次的迭代训练,进一步提升了模型的性能。
作者在多个数据集上进行实验,从以下的实验结果来看,该方法的性能在Zero-shot任务中达到SOTA效果,相比其他无监督方法提升效果显著,作者也证明了各个创新点的有效性。
可视化效果:
[1] Wang X, Girdhar R, Yu S X, et al. Cut and learn for unsupervised object detection and instance segmentation[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2023: 3124-3134.
[2] Mathilde Caron, Hugo Touvron, Ishan Misra, Herv ́e J ́egou, Julien Mairal, Piotr Bojanowski, and Armand Joulin. Emerging properties in self-supervised vision transformers. In Proceedings of the IEEE/CVF International Conference on Computer Vision, pages 9650–9660, 2021. 1, 2, 3, 4, 6, 12
更多推荐
所有评论(0)