论文：Weakly-Supervised Semantic Segmentation Network with Deep Seeded Region Growing
会议：CVPR2018
DSRG方法遵循SEC方法的三个规则，具体见参考更多中SEC的详解文章（以前的一篇文章）
SEC原则
1）Seed:利用分类网络获取物体定位信息，生成segmentation seeds
2）Expand:通过网络训练以及迭代扩展seed 区域
3）Constrain:限制segmentation map的边界，输出分割结果
4）迭代训练：迭代过程中不断优化分割结果（DSRG）
DSRG方法介绍
DSRG方法与相关技术中提到的SEC方法类似，是在SEC方法的基础上进行改进得到的。由于SEC方法在训练过程中种子区域始终是初始种子区域，属于静态监督设置，偏离了语义分割任务的要求，因需要准确和完整的对象区域来训练分割模型。
所以DSRG提出动态监督的方法，在训练过程中，使用迭代训练，每一次迭代中均使用种子区域扩展方法扩展种子区域，下一次迭代时使用扩展后的种子区域作为新的待扩展区域。同时也是用条件随机场方法限制边界。
生成种子区域
使用与SEC方法相似的生成种子区域方法，使用CAM方法[10]和显著性检测方法分别得到前景和背景的种子区域。
细节：CAM方法详解见历史文章
根据实验结果评测，通过CAM方法，图片中大约40%的像素有了确定的label，作为初始种子区域。
网络架构
网络基于VGG16或者Resnet101网络，改全连接层为卷积层，对每一个像素进行分类，预测分类分值。网络输入为一张图片，输出为图片分割结果图。N个H*W的feature maps，上面的值为预测每一个像素属于某一个类别的可能性。
损失函数
在获得种子区域之后，开始介绍如何使用种子线索训练图像语义分割网络。考虑到前景和背景种子区域的不均衡分布，与SEC方法中提出的种子损失不同，本文中提出的平衡播种损失分别具有前景和背景的两个归一化系数，鼓励对分割网络的预测仅匹配由分类网络给出的种子提示，同时忽略图像中的其余像素。
定义C是图像中存在的类别集（背景除外），c-是背景。假设Sc是一组分类为c类的种子区域。然后，平衡种子损失lseed的定义如下：
其中,Hu,c表示分割图H中位置u处像素预测为c类的概率。
此外，我们使用SEC方法中提出的基于CRF的边界损失lboundary鼓励分割图与对象边界的匹配。最终，通过最小化损失函数来优化分段网络：
DSRG方法扩增种子区域
观察得到的种子区域，可以发现种子区域定位准确但十分稀疏，在实践中，大约有40％的像素具有标签。
为了改善静态监督的结果，希望通过迭代训练，在训练过程中通过种子区域增长方法扩展种子区域，每一次迭代使用上一次训练后扩展的种子区域作为初始种子区域，进行训练，并以这个种子区域作为基础进行扩展，直到两次迭代过程的结果不再更新为止 。
种子区域增长的理论基础是在图像中存在小的均匀区域，其中像素应该具有相同的标记，即位置相邻的像素通常具有相同的类别标签。
如何扩展种子区域？
首先，根据分割网络生成的分割图H中像素的预测概率值与设定阈值的大小关系定义相似性标准P，公式如下：
其中,Hu,c指的是指预测分割图中位置u的像素预测为c类的概率值。θ是设定的概率阈值。实验中，设置前景类别阈值为θb,背景类阈值为θb.
其次，将分割图H和种子区域S作为输入来执行区域增长DSRG。DSRG是针对每个类的迭代过程，我们将类c的迭代增长过程表示为Vc,C∈[0,|C|]其中,c=0表示背景类。
在Vc的每次迭代中，将访问Sc中的所有位置，当访问像素Q时，将Q的8连通性邻域中的未标记像素集表示为R.对于Ru∈R.其类c的概率如上所述表示为Hu,c。然后根据P对Ru进行分类如下，更新种子区域：
最后，在访问所有位置后，我们根据规则将所有新标记的像素堆加到Sc，生成新的种子区域。更改Sc后，我们将再次访问更新的Sc。否则，Vc停止。随着分割网络能力的增加，未标记像素的数量减少，并且对象范围被正确的标签覆盖。最终，当Sc不再更新时停止更新。
实验结果
PASCAL VOC2012数据集包含训练集（1464图像），验证集（1449图像）和测试集（1456图像）三个部分。
DSRG方法基本上优于使用图像级标签进行弱监督的所有先前技术，获得了目前PASCAL VOC2012数据集上目前最好结果。
定性结果最后一行给出了一种失败模式。对于弱监督系统来说，如果没有完整的信息，强烈共存的类别（如火车和铁路，雪地和雪）就无法分开。
閱讀更多 AI深度學習求索 的文章
