NeurIPS 2022 | 基于双重相似度迁移的弱样本语义分割

PaperWeekly 原创 · 作者 | 陈俊杰

学校 |上海交通大学博士生

研讨方向 | 弱样本学习

前言

弱样本学习（weak-shot learning）和零样本学习、少样本学习相似，把一切种类划分红没有交集的基础种类和新种类。不同的是，基础种类有大量强标注的锻炼样本，而新种类有大量弱标注的锻炼样本。我们实验室去年在 NeurIPS 上发表了弱样本图像分类和弱样本目的检测。侥幸的是，今年又在 NeurIPS 上发表了弱样本语义分割。至此，弱样本家族（分类、检测、分割）齐聚 NeurIPS。我们把弱样本学习相关的资料整理在 GitHub 上，也写了一篇简短的 survey，供大家了解弱样本学习。

Survey链接:

https://arxiv.org/pdf/2110.02651.pdf

GitHub链接：

https://github.com/bcmi/Awesome-Weak-Shot-Learning

接下来开端引见弱样本语义分割。语义分割在理想世界的各种场景下有普遍的应用，而现有的语义分割深度学习措施都需求依赖于大量的精密标注（强标注）的数据。由于这种标注成本是及其昂贵的，所以带有强标注的类别一定是少量的，难以用强标注数据去拓展到更宽广的类别。为了应对这个问题，我们提出了一种新的语义分割学习方式，用弱标注数据去掩盖宽广的类别。

细致来说，针对一些基础种类，我们有像素级别的强标注数据，而针对更为宽广的新种类我们有图片级别的弱标注数据。在该学习方式下，我们提知名为 SimFormer 的措施，在从带有强标注数据的基础种类中迁移双重相似度来辅助从弱标注数据中学习新类别。我们在 COCO-STUFF-10K 和 ADE20K 这两个富有应战性的语义分割数据集上中止了大量的实验，结果充沛证明了这种学习方式和所提出模型措施的有效性。本文已被 NeurIPS2022 接纳。

论文题目：

Weak-shot Semantic Segmentation via Dual Similarity Transfer

论文链接：

https://arxiv.org/pdf/2210.02270.pdf

代码链接：

https://github.com/bcmi/SimFormer-Weak-Shot-Semantic-Segmentation

背景简介

语义分割需求为图片中的每一个像素都预测种类标签，所以锻炼语义分割模型的数据需求像素级别的标注。由于一个图片包含几十上百万个像素，这种强标注的成本是及其昂贵的，难以掩盖到宽广的种类中去。

例如早期的 COCO 数据集，其中只包含了 80 个语义种类，也是一时掩盖最广、数据量最大的数据集了。但是，需求满足理想世界的应用，这些语义种类远远不够，所以后续又产生了 COCO-SUTFF 数据集，把类别拓展到了 171 类。但是这样的拓展是十分省事和昂贵的。每次产生新的种类分割需求，都要去再破费昂贵的成本重新为新种类提供像素级别的标注，这也难以可持续性的拓展。

▲ 图1：COCO数据集中已标注数据示例

针对这个问题，我们提出用图片级别的弱标注去掩盖新的种类。例如从 COCO 拓展到 COCO-STUFF，不需求再为新掩盖的 91 个种类提供强标注，只需求为每个样本标注图片级别的标签即可，而图片级别的标签是代价及其小的，可拓展性高的。如图 1 所示，原本的基础类别标注了“猫”“杯子”“床”等种类，但是没有标注“台灯”种类。在我们的学习方式种，假如要新去掩盖“台灯”这个种类，只需求为改图片标记“台灯”标注即可。这无疑极大地降低了拓展时的标注成本，使得语义分割模型对新类别有极大的拓展潜力。

任务定义

在锻炼阶段，我们有一些基础种类和另一些新种类，两者没有交集。关于数据锻炼集的每一张图片，其中属于基础种类的像素都带有像素级别的种类标注；其他像素被标记为未知（或疏忽）；图片中的新种类带有图片级别的标注，也就是分类标签。该学习方式下的评测阶段与规范的语义分割分歧，评测图片可能中可能带有基础种类，也可能带有种类。这个学习方式被称为弱样本语义分割。

措施

我们的措施依赖于双重相似度迁移：区域-像素相似度（proposal-pixel simialrity）和像素-像素相似度（pixel-pixel simialrity）。措施框架的架构如图 2 所示，整个框架构建在 MaskFormer 之上，依赖于多个查询向量产生区域倡议，从而完成从基础种类到新种类的迁移学习。双重相似度的细致细节将在下面两小节依次引见。

▲ 图2：措施架构图

3.1 区域-像素相似度迁移

我们的措施充沛应用 MaskFormer 将语义分割任务解耦成区域分类和区域分割两个子任务的特性来处置弱样本语义分割。如图所示，关于每个输入图片，网络都会产生担任基础种类的区域特征向量和新种类的区域特征向量。关于区域分类的子任务，由于基础种类和新种类都带有分类标签，所以这些区域特征向量都被分类的子任务监视锻炼。

关于区域分割的子任务，只需基础种类带有像素级别标签，所以只需基础种类的特征向量产生的二值分割图会被像素级别的分割代价函数监视。固然新种类没有分割代价函数监视，但能够经过区域-像素相似度迁移来产生有效的分割结果。

细致地，二值分割图是经过区域特征向量和像素特征向量做内积计算得来，这能够了解为计算成对的语义相似度，是一个类无关的信息，所以能够跨类别迁移。这个相似度运用基础种类的像素级标注来监视，所以能够迁移到新种类上。

3.2 像素-像素相似度迁移

为了提供更细粒度的监视，我们运用像素-像素相似度迁移来为新种类提供像素级的正则化项。如上图所示，由于一切锻炼样本都有类别标签，所以关于一个锻炼样本，能够找到与它包含相同基础种类、新种类的样本，作为参考样本。在两个图片上各自采样一些点，并且枚举构成一些像素点对。

我们将这些像素点对的像素特征向量中止拼接，然后输入若干全衔接层组成的像素相似度网络，最后中止二分类，判别两个输入像素能否来自于同一个类别。由于基础种类有像素级标注，所以若其中有一个像素属于某个基础种类，我们能够对这个像素对施加代价函数的监视。

而像素-像素的相似对也属于成对的语义相似度，也能够跨类别中止迁移。所以关于未知的像素对，我们运用上述相似对网络预测它们能否属于同一个类别。若迁移过来的相似度网络以为它们属于同一类别，则让它们对新种类的预测分数接近，反之推远。经过这种方式，我们能够为新种类施加像素级别的正则化项。这部分内容只在锻炼时起效，无需增加在测试时的计算量。

3.3 补集代价函数

固然我们关于新种类没有像素级别的标注来提供监视，但我们有一个补集的先验学问，即，基础种类、新种类、疏忽种类的并集为整个图片的全集。所以我们让基础种类、新种类、疏忽种类的区域特征向量所产生的语义分割结果取并集，请求得到图片的全集。经过这种方式，我们能够对新种类的像素并集施加监视，对模型学习新种类起到一定的辅佐作用。

实验

我们在 COCO-Stuff-10K 和 ADE20K 这两个极具应战性的数据集上中止实验，前者有 171 个语义类别，后者由 150 个语义类别。因循之前的零样本、小样本学习的工作，我们依照 3:1 来随机划分基础种类和新种类的类别数量。为了缓解随机带来的不肯定性，我们中止了 4 次随机划分来中止实验。

如上表所示，我们的措施极大地超越了对比措施，充沛证明了双重相似度迁移的有效性。我们单节段锻炼的模型就能够抵达令人称心的性能，相比于因循弱监视语义分割的措施们，同时具有流程少，性能高的两个优点。假如再追加一个生成为伪标签重新锻炼的阶段，我们的措施能够进一步进步大约 1.9%。相比于全监视的上界措施，我们的带有生成为伪标签重新锻炼的措施能够抵达 77%~89% 的性能比例。所以在两个充溢应战性的数据集上的实验充沛展示了弱样本语义分割的潜力以及双重相似度迁移框架的有效性。

两个数据集上的可视化对比方上图所示。因循弱监视语义分割的措施容易产生不完好的分割结果，而我们的措施能够产生更完好、精确的语义分割结果。即便在第二、第三行这种复杂的场景种，我们的措施依旧能对新种类产生更好的结果。

总结

在本文中，我们思索弱样本语义分割任务，也就是在一些带有像素级标签的基础类别的辅佐下，从更为易得的带图片集分类标签的数据中学习新种类。特别地，我们提出了基于 MaskFormer 的双重相似度迁移，以及一个补集代价函数来辅助新种类的分割学习。在 COCO-Stuff-10K 和 ADE20K 两个具有应战性的数据集上的丰厚的实验充沛表明了本文提出的样本语义分割任务和双重相似度迁移措施的有效性。

更多阅读

# 投 稿 通 道#

让你的文字被更多人看到

如何才干让更多的优质内容以更短途径抵达读者群体，缩短读者寻觅优质内容的成本呢？ 答案就是：你不认识的人。

总有一些你不认识的人，知道你想知道的东西。PaperWeekly 或答应以成为一座桥梁，促使不同背景、不同方向的学者和学术灵感相互碰撞，爆发出更多的可能性。

PaperWeekly 鼓舞高校实验室或个人，在我们的平台上分享各类优质内容，能够是 最新论文解读，也能够是 学术热点剖析、 科研心得或 竞赛阅历解说等。我们的目的只需一个，让学问真正活动起来。

稿件基本请求：

文章确系个人 原创作品，不曾在公开渠道发表，如为其他平台已发表或待发表的文章，请明白标注

稿件倡议以 markdown格式撰写，文中配图以附件方式发送，请求图片明晰，无版权问题

PaperWeekly 尊重原作者署名权，并将为每篇被采用的原创首发稿件，提供 业内具有竞争力稿酬，细致依据文章阅读量和文章质量阶梯制结算

投稿通道：

投稿邮箱：hr@paperweekly.site

来稿请备注即时联络方式（微信），以便我们在稿件选用的第一时间联络作者

您也能够直接添加小编微信（ pwbot02）快速投稿，备注：姓名-投稿

往常，在 「知乎」也能找到我们了

进入知乎首页搜索 「PaperWeekly」

·