工作内容
2021.12.23-12.25
重叠与密集细胞区域的检测文献调研。
调研了两篇密集区域目标检测的文章
PS-RCNN 两个阶段来分别检测未遮挡与严重遮挡的目标
迭代检测的方法，将历史的特征图卷积后作为第二次的输入
查看一下目前faster-rcnn的所有密集、重叠区域检测结果的情况，挑选出了一些检测结果差的样本。
2021.12.25~2021.12.31
密集、重叠细胞区域存在的检测难点，严重遮挡的细胞智能提供较少的视觉信息，检测得到的置信度低，容易被NMS最大值抑制去除。其中一种解决方案是Soft-NMS，Soft-NMS按照检测框之间的重合程度(IOU)进行置信度衰减，但是衰减的形式为人工设计，具有较大的局限性，且置信度降低的检测框后续也可能因不满足置信度阈值的要求而被去除。
针对密集、重叠细胞区域存在的检测失效的问题，拟采用迭代检测的方法来检测两组具有不同遮挡的细胞实例。第一轮检测没有遮挡或者轻微遮挡的细胞，在实例分割分支会得到的已检测到细胞的mask，之后采用该mask去覆盖原特征图的相应位置得到masked feature。在第二轮检测中使用masked feature去检测被遗漏的遮挡较严重的细胞。通过这样的迭代检测方式去提升网络对被遮挡细胞的检测能力。
在该迭代检测的方法中，需要细胞边界的mask信息，因此需要使用语义分割进行细胞的位置标注。
先完成结果写入到labelme的json的形式，完成结果的迭代，目前完成细胞质标注约500余张，版本一迭代完成，形成了闭环，下图为mask-rcnn推断的结果，红色为细胞，绿色为细胞核。
跑一下带有mask的检测网络如mask-rcnn
1 | python tools/train.py configs/mask_rcnn/mask_rcnn_r50_fpn_2x_coco.py --work-dir ./work_dir/mask_rcnn_new/ |
12.29检测结果出现了问题
- 只检测细胞边检
- 只检测细胞核边界
- 同时检测，目前存在失效的问题 不知道为什么 考虑结合语义分割网络，目前已找到问题未修改dataset coco数据集合与网络输出的分类类别，在结果写入json中出现了seg重复定义的bug。