业界 | 亮风台2D AR算法新突破，夺冠世界权威评测

在目前的AR应用中，2D AR跟踪，如海报、卡牌等平面物体的跟踪曾经成为中心技术之一，在营销、教育、游戏、展示展览等方面都很常见。但是，固然近年来2D AR跟踪算法曾经取得了很大的进步，但在一些外部条件、环境要素影响下的效果依旧有很大提升空间，如何处置光照变更、运动含糊等要素带来的应战，也是目前中止底层算法研发的AR公司以及学者的研发热点。

雷锋网近日音讯，AR公司亮风台在2D AR跟踪方面取得了新突破，其研发人员提出的基于约束置信度的鲁棒跟踪算法（CCM），进步了在部分遮挡、光照变更和运动含糊等各种要素干扰状况下的鲁棒性，并在UCSB和TMT两个国际评测集中刷新了最好成果。目前，这一成果曾经在机器人范畴顶级会议ICRA 2018上发表。ICRA 是机器人范畴三大顶级会议之一（其它两个为IROS和RSS），AR跟踪的很多经典工作（例如ESM跟踪算法）都曾在ICRA和IROS上发表。

在部分遮挡、运动含糊和照明改动条件下的CCM算法效果示例（只显现在目的周围放大的区域以便展示）

据了解，这两年亮风台依然有不少工作在针对2D AR的算法优化，在2017年的ICRA上发表了针对光照变更的基于梯度方向的AR跟踪算法；同年提出的基于图匹配的跟踪算法应用图结构来处置目的物体内部的空间关联，从而实往常强干扰的精确平面物体跟踪，该工作已被人工智能范畴国际顶级期刊《PAMI》（IEEE方式剖析和机器智能汇刊）录用。其它在CVPR、ICCV、ECCV、ICRA、ISMAR、PAMI 等AI、CV、AR相关范畴顶级期刊会议上公开发表的研讨成果触及图像语义辨认、人脸图像剖析、手势辨认、AR场景建模定位、超图匹配，视觉显著性等方面。

基于约束置信度的鲁棒跟踪算法（CCM）

跟踪平面物体，例如2D标记，通常是相机定位和场景配准的重要步骤。在过去的几十年中，大量的研讨努力于视觉跟踪问题，平面目的跟踪的盛行措施能够大致分为基于关键点的措施和基于模板的措施。基于模板的措施直接应用像素的外观而不提取特征，并基于牛顿法或其变体优化模板与捕获图像之间的相似性度量，以肯定平面的姿势。

不同与传统的基于模板的跟踪措施，CCM（ Constrained Confidence Matching）依据丈量噪声对每个像素分配不同的匹配系数，而不是在计算运动参数时对模板中的每个像素中止相同的处置。在此基础上，为了进一步进步对光照变更和重运动含糊的鲁棒性，亮风台研发人员还提出了一种鲁棒卡尔曼滤波器，它采用新的控制输入模型来处置物体的外观变更。

给定目的的初始图像或位置，新措施（即CCM）自动从视频中跟踪定位目的所在位置。

第一步：从视频第一帧中提取目的区域作为模板T；

第二步：从视频读取下一帧图像It；

第三步：在图像It中跟踪匹配目的；

第四步：依据第三步的跟踪结果更新模板T。

第五步：跳转到步骤二处置下一帧图像。

测试结果

为了彻底评价，CCM算法在两个公共数据集上中止了测试：加利福尼亚大学提出的UCSB基准和加拿大阿尔伯塔大学提出的操作任务跟踪（TMT）基准。UCSB数据集包含96个视频流，显现6个不同纹理的平面目的，总共6889帧，具有几何失真（摇摄、缩放、倾斜、旋转）、九个运动含糊等级以及不同的照明条件，一切帧都遭到不同水平的噪音影响。TMT数据集由人为和机器记载的操作任务的图像序列组成，它包含109个图像序列，共70592帧。

对应于每个视频类别的平均跟踪精度汇总在表I（UCSB）和II（TMT）中，如下：

从实验结果能够看出，所提出的CCM算法在两个数据集上显著地优于一切基线。事实上，CCM在简直一切视频类别中都取得了最佳或简直最佳的跟踪性能，明显优于现有的主流跟踪算法，如基于关键点的跟踪（keypoint-based tracker）,基于模板的跟踪（ template-based tracker）以及概率跟踪（probabilistic tracker），并且它关于极端姿势变更以及严重的环境扰动都表示出很高的鲁棒性。

CCM算法与其他算法相比，在各类内在和外在变更的几个典型示例如下，包含具有重复图案的图像倾斜；猛烈而动态的日落画面惹起照明变更，纹理十分弱；存在部分遮挡；运动含糊，在这种状况下检测不到牢靠的关键点。

AR的研讨仍需持续努力

固然计算机关于“常规”平面物体的认识曾经能抵达很高的速度、精度，以及稳定性，但这明显还不够，研讨人员希望计算机能够尽可能“模仿”人的视觉效果，以至在一定条件下超越人眼，这样，在算法工程化之后面向普通用户时，才干保障优质的用户体验，如在传统的平面物体跟踪中，容易呈现快速运动丧失或漂移等现象，反映到用户体验上，车窗外的广告牌就容易辨认不到，在走动过程中玩AR游戏发现空中上的家具会“飘”起来等。

这就需求相关的学术人员以及企业研发人员不时的优化算法、提出新措施，如此才干分离不时升级的硬件环境完成高度的市场化。关于目前的2D AR以至整个AR行业来说，需求从业人员把现有技术应用化市场化，但同样需求大量真正的创新人员向前推进底层技术边疆，让AR走向成熟。