[论文阅读]DN-DETR: Accelerate DETR Training by Introducing Query DeNoising

Carion等人创造性地将Transformer引入了目标检测领域，提出了DETR，掀起了CV业内一阵研究的热潮。DETR的提出是创造性的，但是也存在很多问题，例如收敛速度满，导致训练困难(要训练500个epochs才能达到理性的效果)。因而众多学者开始从不同方面入手，于对DETR进行优化，提出了 Dynamic DETR、DAB-DETR、Conditional DETR、Anchor DETR、Deformable DETR等DETR-like算法。

但是，鲜有人关注DETR中二分图匹配部分对训练过程中收敛速度的影响。有文章已经证明DETR中使用的匈牙利算法并不是稳定匹配，$cost$矩阵的微小变化都可能会导致匹配结果发生巨大的变化，进一步导致decoder queries中优化目标发生变化。

衡量标准

在DN-DETR中，作者提出了一种衡量二部匹配结果稳定性的标准：

对于每张训练图片，将Transformer decoders预测得到的物体定义为$O^i=O_0^i,O_1^i,\dots ,O_{N-1}^i$其中$i$表示第$i$个epoch，$N$为预测出的物体的数量。将ground truth中的物体定义为$T=T_0,T_1,\dots ,T_{M-1}$ 其中$M$为ground truth中物体的数量。 在二部匹配后，计算一个索引向量$V^i=V_0^i,V_1^i,\dots ,V_{N-1}^i$来存储第$i$的epoch的匹配结果。

$$V_n^i=\{\begin{array}{rl}m,& if{O}_n^{i}matches{T}_m\\ -1,& if{O}_n^{i}matchesnothing\end{array}$$