模式识别国家重点实验室图像与视频分析团队王金桥研究员等提出了一种基于结构化深度度量学习的车脸识别方法，可以从车辆视觉表观中学习到高效的特征，从而实现精准的车辆重识别与检索。与此同时，团队还发布了一个当前最大的车脸识别与检索数据库“Vehicle-1M”。该方法已经成功应用于视频侦查、违章限行、高速自助通行、智慧停车等领域。
　　车脸识别又叫车辆重识别，也称为车辆检索，旨在找到不同监控场景下的同一辆车。数据显示，65%以上的犯罪案件都与车辆有关。而在涉车案件中，嫌疑车辆的车牌通常是假牌、套牌，无法通过识别车牌号码来锁定车辆身份，因此基于视觉表观的车辆重识别技术具有重大研究意义和实用价值。
　　不同于车型分类，车脸识别更精细，更具挑战性。它不仅要判断两辆车是否属于同一个精细车型，还需要确定两辆同一年款相同颜色的车是不是同一辆车。该任务一大难点在于复杂的类内类间差异。随着光线和视角的变化，同一辆车看起来可能差异较大，如图1第一列所示。而不同车辆可能看起来极其相似，尤其当它们属于同一个车型的时候，如图1第二列所示。这种情况下，我们只能通过车窗部分的年检标、挂饰、摆件等细微的车辆个性化外观特征来区分车辆。此外，即使两辆车属于不同的车型，如果精细车型之间差异较小，也令人难以分辨，如图1第三列所示。

图1.车脸识别任务具有复杂的类内类间差异

针对这种复杂的类内类间差异，王金桥研究员等提出了一种基于结构化特征度量学习的车脸识别方法。前人的方法只是减小同一辆车的类内差异，增大不同车辆的类间差异，而忽略了不同车型的类间差异。考虑到不属于同一车型的车一定不属于同一辆车，王金桥研究员等在度量学习损失的设计中加入了对不同车型的类间差异的限制，并在实验中证明通过增大不同车型的类间差异可以有效提升车脸识别的性能。具体来说，团队设计了一种层级式的排序损失，有效融合了车型分类损失、粗粒度的排序损失、细粒度的排序损失以及基于样本对的损失。粗粒度的排序损失和细粒度的排序损失分别致力于增大不同车型以及不同车辆之间的类间差异，而基于样本对的损失则旨在尽可能减小同一车辆的类内差异。利用这种层级式的排序损失可以由粗到细地学习到一个结构化的特征度量空间，从而有效刻画车辆图像之间多层级的语义相关性。如图2所示，这种特征度量学习方法能够有效增强类内紧凑性和类间判别性。

　　图2.结构化特征度量学习方法示意图

此外，为了推动车辆重识别领域的研究进展，团队发布了一个当前最大的 车脸识别与检索数据集 “Vehicle-1M”。它包含不同光线、视角、监控场景下拍摄的接近一百万张车辆图片，适合于车辆检索、车型分类等一系列车辆相关任务。数据库对比如下表1所示
。

　　表1.不同车辆重识别数据库对比

团队在当前最大的两个车辆检索数据集，“Vehicle-1M”和“VehicleID”[1]上，进行了一系列实验，结果如下表所示。其中， “FGR”表示只采用了细粒度的排序损失，“C+FGR”、“C+FGR+P”、“C2F-Rank”在此基础上依次加入了粗粒度的排序损失、基于样本对的损失以及车型分类损失，可以看到每一个损失项的加入都带了性能的持续提升，验证了损失项设计的合理性。值得一提的是，粗粒度损失项的提升最大，证明通过增强不同车型之间的判别性的确可以实现更高效的车脸识别与检索。”DRDL”[1]是之前性能最好的方法，团队在此基础上将检索性能又提升了约10%。最终团队在两个数据集上均取得了最好的结果，证明了所提方法的优越性。

　　表2. 不同方法在”VehicleID”上的MAP                                表3. 不同方法在”Vehicle-1M”上的MAP

　
　　             表4. 不同方法在”VehicleID”上的Match rate                   表5. 不同方法在”Vehicle-1M”上的Match rate

基于该方法团队研发出"车脸识别与检索系统"，不仅支持5000余种车型车款的精细识别，还支持对假牌、套牌车的检索。团队与北京、河北、江苏、河南、陕西、湖北等多个省市的公安和交通管理部门合作实现城市交通解决方案，通过对地理信息、交通视频、诱导、信号、电警和非现场等系统进行集成，能够快速查找嫌疑车辆在全城市的行驶轨迹，实施布控、跟踪和抓捕；如果获得嫌疑车数据，可以在可疑车辆数据库里实时进行搜索分析。即便车辆经过换牌照、重新喷漆等改装，也逃不过该系统的‘火眼金睛’。该系统有效协助车辆管理有关部门自动识别假牌套牌车辆，以及实现违章车限行、大货车收费等智能化交通管理，抓拍到近1万起违章行为，其中包括不系安全带的2800起，开车玩手机的980起，抽烟220起。与此同时，在北京已经上线了重型货车禁行智能识别系统，实现了4吨、6吨、8吨等精准载重货车监控，并获得了北京海淀交通支队“金点子”奖。
　　【论文&数据集】
　　Learning coarse-to-fine structured feature embedding for vehicle re-identification.
　　Haiyun Guo, Chaoyang Zhao, Zhiwei Liu, Jinqiao Wang, Hanqing Lu.