以下链接是个人关于mmdetection(Foveabox-目标检测框架)所有见解，如有错误欢迎大家指出，我会第一时间纠正。有兴趣的朋友可以加微信：17575010159 相互讨论技术。若是帮助到了你什么，一定要记得点赞！因为这是对我最大的鼓励。 目标检测00-00：mmdetection(Foveabox为例)-目录-史上最新无死角讲解
前言在上篇博客中，已经对 mmdet\models\dense_heads\fovea_head.py 中的 FoveaHead 训练过程进行了讲解。但是推理过程还没有进行解析。那么这篇博客我们就来好好的专研一下，其主要的核心就是 FoveaHead 中的 def get_bboxes 函数。
代码注释关于 FoveaHead 中 get_bboxes 代码，本人注释如下：
def get_targets(self, gt_bbox_list, gt_label_list, featmap_sizes, points):
"""
:param gt_bbox_list: 该个batch所有图像对应的box信息
:param gt_label_list: 该个batch所有图像box对应的cls信息
:param featmap_sizes: 5个特征图大小，默认为[[60,80],[30,40],[15,20],[8,10],[4,5]]
:param points: 包含了5个特征图像素对应的坐标位置
:return:
"""
# 循环 batch_size 次执行self._get_target_single函数，
# 为每张图像生成特征图对应的box，cls标签
label_list, bbox_target_list = multi_apply(
self._get_target_single,
gt_bbox_list,
gt_label_list,
featmap_size_list=featmap_sizes,
point_list=points)
# 把所有特征图对应的label cls进行扁平处理，形状为[b,n]（包含一个batch）
flatten_labels = [
torch.cat([
labels_level_img.flatten() for labels_level_img in labels_level
]) for labels_level in zip(*label_list)
]
# 把所有特征图对应的box进行扁平处理，形状为[b,n,4]包含一个batch）
flatten_bbox_targets = [
torch.cat([
bbox_targets_level_img.reshape(-1, 4)
for bbox_targets_level_img in bbox_targets_level
]) for bbox_targets_level in zip(*bbox_target_list)
]
# [b,n]-->[b*n]
flatten_labels = torch.cat(flatten_labels)
# [b,n,4]-->[b*n,4]
flatten_bbox_targets = torch.cat(flatten_bbox_targets)
return flatten_labels, flatten_bbox_targets
def _get_target_single(self,
gt_bboxes_raw, # 输入图像对应的box
gt_labels_raw, # 输入图像box对应的cls标签
featmap_size_list=None, # 包含5个特征图的大小
point_list=None): # 包含5ge特征图每个像素的坐标
# 获得box的面积（开根号之后的）
gt_areas = torch.sqrt((gt_bboxes_raw[:, 2] - gt_bboxes_raw[:, 0]) *
(gt_bboxes_raw[:, 3] - gt_bboxes_raw[:, 1]))
# 记录一张图片的所有特征的 target label 类别信息
label_list = []
# 记录一张图片的所有特征的 target box 的 tx1，ty1, tx2，ty2,（论文的公式4） 的信息
bbox_target_list = []
# for each pyramid, find the cls and box target
# 为每个金字塔特征生成对应的 target cls，target box
# self.base_edge_list 默认为 [16, 32, 64, 128, 256]，对应论文中的rl
# self.scale_ranges 默认为被覆盖为 ((1, 64), (32, 128), (64, 256), (128, 512), (256, 2048))
# self.strides 默认为被覆盖为[8, 16, 32, 64, 128],
# featmap_size_list 默认形状为为 [[60,80],[30,40],[15,20],[8,10],[4,5]]
for base_len, (lower_bound, upper_bound), stride, featmap_size, \
(y, x) in zip(self.base_edge_list, self.scale_ranges,
self.strides, featmap_size_list, point_list):
# FG cat_id: [0, num_classes -1], BG cat_id: num_classes
# 创建一个featmap_size大小的labels，全部都赋值成背景类
labels = gt_labels_raw.new_zeros(featmap_size) + self.num_classes
# 创建一个featmap_size大小的 box target,
# 形状为(featmap_size[0], featmap_size[1],4)，初始化所有的值填充为1
bbox_targets = gt_bboxes_raw.new(featmap_size[0], featmap_size[1],
4) + 1
# 论文中的scale assignment，缩放分配。也就是一个box，其应该属于那个特征图最合适
# 如果gt_areas在当前金字塔特征的[lower_bound, upper_bound]之间，
# 说明使用该特征图对其进行预测是合理的，一张图片中可能存在多个box，所以hit_indices可能存在多个值
# 并且hit_indices记录的是box的索引
hit_indices = ((gt_areas >= lower_bound) &
(gt_areas [h,w,4] --> [h*w, 4]
scores = cls_score.permute(1, 2, 0).reshape(
-1, self.cls_out_channels).sigmoid()
# 形状进行改变 [num_class,h,w] -- > [h,w,num_class] --> [h*w, num_class]
# 并且进行了exp操作
bbox_pred = bbox_pred.permute(1, 2, 0).reshape(-1, 4).exp()
# nms_pre 默认值为1000,也就是去1000
nms_pre = cfg.get('nms_pre', -1)
if (nms_pre > 0) and (scores.shape[0] > nms_pre):
# 获得num_class最高的分值 [h*w, num_class] -> [h*w]
max_scores, _ = scores.max(dim=1)
# 获得分值最高的前 nms_pre 个下标
_, topk_inds = max_scores.topk(nms_pre)
# 根据topk_inds下标，取得对应的 box
bbox_pred = bbox_pred[topk_inds, :]
# 取得 topk_inds下标的 scores[h*w, num_class] 的分值，然后再赋值给scores
scores = scores[topk_inds, :]
# 获得 topk_inds 对应的x, y 坐标。
y = y[topk_inds]
x = x[topk_inds]
# 根据论文中的公式计算出 box 在输入图像（640*480）的坐标。
x1 = (stride * x - base_len * bbox_pred[:, 0]).\
clamp(min=0, max=img_shape[1] - 1)
y1 = (stride * y - base_len * bbox_pred[:, 1]).\
clamp(min=0, max=img_shape[0] - 1)
x2 = (stride * x + base_len * bbox_pred[:, 2]).\
clamp(min=0, max=img_shape[1] - 1)
y2 = (stride * y + base_len * bbox_pred[:, 3]).\
clamp(min=0, max=img_shape[0] - 1)
# 把坐标链接起来，转化为(n, x1, y1, x2, y2)的形式
bboxes = torch.stack([x1, y1, x2, y2], -1)
# 把变换之后box坐标，以及对应的类别分值添加到 det_bboxes 与 det_scores 之中。
det_bboxes.append(bboxes)
det_scores.append(scores)
# 把多个金字塔特征得到的 box 坐标，链接起来
det_bboxes = torch.cat(det_bboxes)
# 如果需要，则把图片缩放到最原始的图像上。
if rescale:
det_bboxes /= det_bboxes.new_tensor(scale_factor)
# 把多个金字塔特征得到的 box 类别的得分值链接起来
det_scores = torch.cat(det_scores)
# 把det_scores添加一列，最要是兼容背景类
padding = det_scores.new_zeros(det_scores.shape[0], 1)
# remind that we set FG labels to [0, num_class-1] since mmdet v2.0
# BG cat_id: num_class
det_scores = torch.cat([det_scores, padding], dim=1)
# 进行 nms 处理
det_bboxes, det_labels = multiclass_nms(det_bboxes, det_scores,
cfg.score_thr, cfg.nms,
cfg.max_per_img)
# 处理的结果返回，
# det_bboxes[-1,5], 最后一列表示概率值，
# det_labels 表示 box 对应的 cls 类别。
return det_bboxes, det_labels
我相信大家看了上面的代码，对于模型推理，如何获得原图对应的 box 坐标应该十分清楚了。除了 nms 没有进行详细的讲解之外，其他算讲解比较彻底了。对于 Foveabox 的讲解基本算是完成了。后续我使用该网络进行行人检测，追踪。再进一步联合行人从识别，进行动作识别。链接如下，欢迎大家观看：
