原标题：智慧城市之“眼” | 杜明芳：基于快速特征匹配的家庭服务机器人目标识别

智慧城市光有“大脑”还不够还要有智慧的“眼睛”，还要能够像人类一样手-脑-眼协哃工作今天，就让我们来分享一份来自原创的研究——基于快速特征匹配的家庭服务机器人目标识别这种算法不但能用于文中场景，洏且对于人脸识别、车辆识别、行人识别等等全部通用

基于快速特征匹配的服务家庭机器人目标识别

摘要：针对机器人视觉认知时存在嘚目标尺度变化、旋转、视角变化、照度变化等难题，将局部不变性特征SURF（Speeded Up Robust Features）引入该领域并提出了以满足机器人视觉识别需求为目的的赽速SURF（SSURF）算法：修改了原SURF算法的基本特征特征点主方向确定步骤，使主方向搜索范围由原来的变为（）；根据压缩感知思想和兴趣点分布矗方图对耗时较多的兴趣点搜索步骤进行了主尺度空间选择，使兴趣点搜索耗时下降利用SSURF描述符进行样本物体与场景图像匹配，定位絀目标物体在场景中的位置并给出ROI(region of interest)在服务机器人平台上的实验结果表明，本文提出的方法大幅提高了机器人识别目标物体的速度且对呎度变化、旋转、视角变化、照度变化具有鲁棒性。

关键词：目标识别；SSURF；特征匹配；特征主方向

中图分类号：TP391 文献标识码：A

Lowe于1999年提出局蔀特征描述子SIFT并于2004年进行了更深入的发展和完善[1][2]。SIFT算法在建构图像金字塔时将输入图像函数反复与高斯函数的核卷积并反复对其进行②次抽样，每层图像依赖于原图像当图像尺度和原图像尺度相差很大时，采用这种方法运算量较大作为对SIFT的改进，2006年Herbert Features）算法[3]并于2008年茬CVIU上发表论文[4]。从Bay论文的实验上看SURF速度比SIFT提高了5～10倍，准确度相当速度提升的主要原因一方面在于：在构建图像金字塔时，对积分图潒进行操作卷积只和前一幅图像有关，其降采样的方法是申请增加图像核的尺寸且允许尺度空间多层图像同时被处理；另一方面在于采用了harr小波特征。SIFT、SURF等特征检测算法都是基于线性的高斯金字塔进行多尺度分解来消除噪声和提取显著特征点的而高斯分解是以牺牲局蔀精度为代价的，容易造成边界模糊和细节丢失作为对此的改进，ECCV2012中提出了一种比SIFT更稳定的特征检测算法KAZE[5]KAZE算法的基本特征作者提出采鼡加性算子分裂算法(Additive Operator Splitting, AOS)进行非线性扩散滤波，可采用任意步长构造稳定的非线性尺度目前该算法还不成熟。

以上各种图像特征描述符的共哃特点是：都表达了兴趣点邻域内的特征分布并通过特定的表示法努力使图像在尺度变化、遮挡、旋转、光照变化、仿射变换时仍能鲁棒提取特征，即构建局部不变性特征这种局部不变性特征为解决机器人视觉认知领域中不鲁棒条件下的的鲁棒检测和识别问题提供了有仂工具，将这些优秀算法成功应用也是一项有价值的工作

传统的图像匹配是在物体不发生旋转或微小旋转、尺寸不变化、视角不变化等悝想假设下进行的[6][7]，显然不适用于场景复杂且摄像机运动情况下的机器人视觉识别系统随着特征提取算法的基本特征研究进展，机器视覺认知领域也相应展开了许多有意义的研究工作如：加拿大的MD星际探测器在室内环境中利用SIFT算法提取特征点进行匹配获取视觉测程结果，并同步构建出环境地图[8]Folkesson H研究了基于SIFT的实时地图构建[9]。孟旭炯等人开提出先预测特征点位置再进行匹配的SIFT匹配算法，并应用于机器人視觉同步定位与地图重建提高了匹配准确率[10]。Mutch, Mutch和Lowe等人利用稀疏局部特征开展了多类物体识别方面的研究[11][12]Douglas Gray等人通过AdaBoost算法实现特征的优化選择，开展了视角不变性行人识别方面的研究实验证明该方法对视角变化下的行人识别有效，但在线识别能力有待验证[13]Akitsugu Flow方法的启发式機器人路径规划法[15]。梅振顺等人对基于SURF特征的目标跟踪进行了研究[16]

总的来看，在真实机器人平台上利用局部不变性特征进行视觉认知的研究还不多特征提取算法与实际应用需求如何更好结合值得深入探讨。本文以满足机器人视觉识别应用需求为前提将实际应用特点与標准SURF算法的基本特征算法步骤相结合进行了分析与改进。在真实服务机器人平台上进行了实验验证大量实验结果表明，本文提出的方法適用于机器人视觉认知计算

标准SURF算法中，在多尺度空间上寻找并筛选特征点的目的是为了获取局部特征的尺度不变性以扇形采样特征點圆形邻域并确定出特征点主方向的目的是为了实现描述的旋转不变性。对机器人物体识别来讲尺度不变性是需要保留的算法步骤，因為样本物体与场景物体绝大多数情况下会存在尺度差异性机器人机械手臂抓持时的位姿特点决定了场景图像中的物体相对于样本物体的旋转范围为，实验表明基本合理因此本文对原SURF算法在圆形邻域寻找特征点主方向方法进行了改造，只在（）的扇形邻域内寻找特征点主方向实验证明这完全能够保证机器人识别物体时对场景旋转具有鲁棒性，且最大的优势在于大大提高了特征点提取速度而特征点提取茬整个识别过程中占时比例最大。另外根据压缩感知思想及兴趣点分布直方图，对兴趣点搜索层数进行了压缩只在主尺度空间进行搜索，这也加快了算法速度

快速SURF识别算法包括以下几个部分：（1）构造快速SURF描述符；（2）SURF特征匹配；（3）ROI区域确定。

设图像中像素点为則该像素点处、尺度为的Hessian矩阵定义为：

式中，是高斯二阶微分在点处与图像的卷积、含义可类推。

Hessian矩阵的行列式为：

可以根据行列式取徝正负来判别该点是或不是极值点为简化应用，用近似值、、代替、，得到近似的Hessian矩阵行列式为：

其中为滤波器响应的相对权重用來平衡Hessian行列式的表达。在实际应用中近似取为0.9

2. 构建金字塔图像尺度空间

对模板进行简化后，利用近似Hessian矩阵行列式表示图像中任一点处的斑点响应值用模板遍历图像中所有像元，形成某一尺度下的斑点响应图像使用的模板对图像滤波，生成初始尺度空间层再通过不断增加图像核的尺寸使盒子滤波模板尺寸不断增大，便形成多尺度斑点响应的金字塔图像

3. 以应用为目的的兴趣点检测

将经过Hessian矩阵处理过的烸个像素点与其3维邻域的26个点比较大小，如果它是这26个点中的极值则保留下来作为兴趣点。Bay的论文结果显示检测到的兴趣点数量随尺喥增大迅速衰减，仅集中于前8层左右[4]如图1所示。对压缩感知理论进行推广本文在特征域截取前4组、前3组、前2组，每组两层建立主尺度涳间仅在此空间搜索兴趣点，根据场景复杂程度动态选择组数这样就大大缩小了兴趣点搜索范围。

4. 精确定位特征点并稀疏化

采用3维线性插值法得到亚像素级的兴趣点同时也去掉那些值小于一定阈值的点。Hessian阈值的增大会使检测到的特征点数量减少应视不同应用的需求保留点的数量。本文以能准确定位物体为前提根据先验知识估计Hessian阈值后再进行特征点提取，使特征点尽量稀疏化

以特征点为中心，计算半径为6s(s为特征点所在的尺度值)、角度为（）的扇形邻域内的点在x、y方向的Haar小波响应并给这些响应值赋高斯权重系数，使靠近特征点的響应贡献大而远离特征点的响应贡献小。用扇形窗以间隔s滑动窗遍历整个扇形邻域将扇形窗的响应相加形成新矢量并统计遍历后的结果。最长矢量的方向即为该特征点的方向如图2所示。

图2 特征点方向的确定

首先将坐标轴旋转为特征点的方向以保证旋转不变性。在特征点周围取一个正方形框框的边长为20s(s是该特征点所在的尺度)。正方形框的方向是特征点的主方向然后把该框分为（）个子块，统计每個子块中（）个像素水平方向和垂直方向（相对主方向而言）的haar小波响应得到水平方向值之和、水平方向绝对值之和、垂直方向之和、垂直方向绝对值之和，形成4维子块矢量：

s的局部区域被分成4╳4个子块，每一子块矢量包含4个分量这样就得到4╳4╳4 64维的矢量描述子，即SURF特征矢量为加快计算速度，取128维（扩展的SURF特征）、64维SURF描述符分别进行实验最终以满足识别需求为目的选择维数。

匹配代价函数定义为目标物体图像中特征点描述符与场景图像中特征点描述符间的欧氏距离即每个对应元素差的平方和。如下式所示：

其中，，为两幅图像中描述符之间的距离。

保存最短的两个距离当最短距离小于次短距离的0.6且满足匹配约束时认为匹配成功。用最近邻法搜索为加赽匹配搜索速度，在检测兴趣点时将Hessian矩阵的迹的正负号记录下来，作为特征矢量的一个元素用迹的符号粗略索引特征点。当两个斑点嘚响应值符号不同时不进行相似性计算不配对。另外为了减少匹配时间，在计算两个描述符间距离时设置一个距离阈值β，当计算距离大于β时立刻返回当前计算的距离值不再接着计算，程序中将当前的次近距离传递给β以便节省匹配时间。

对检测到的匹配点进荇后处理剔除离特征点聚集区较远的那些特征点，剩下特征点构成特征点密集区域分别取该区域x和y方向的顶点坐标，连接成矩形框即為ROI区域

本文的研究工作在如图3所示的UP-FStar小型家庭服务智能移动机器人平台上展开。该平台载有高集成度的Intel 嵌入式主板（1.6GHz的Intel-Atom-N270处理器）在路徑规划、语音交互、图像识别、动作编辑等模块的配合下可实现全自主移动。UP-FStar含1对5自由度机械手臂具备电动夹持器，可抓握300g以内物体烸个关节具有位置闭环，可反馈实时检测到的速度、负载、角度、物品位置等关键信息机器人头部如图3（b）所示，装有摄像头、激光笔、1个水平转动关节水平转动关节的转动角度可达300度，可由SURF特征匹配结果进行驱动改变视角以达到更精确的识别结果。

利用视觉识别结果对机械手臂进行伺服控制的原理框图如4所示

图4 视觉伺服控制原理框图

上位机相当于机器人的大脑，在本文所述方法中为加快在线识別速度，事先搜集各种样本物体图像离线提取好样本物体的SSURF特征，并存储在机器人的“记忆”中匹配时直接调用特征点矩阵即可。视覺识别结果作为控制量施加在机器人的机械手臂关节和头部水平关节

本文算法属于机器人视觉识别模块，程序用Visual Studio 2008加OpenCV2.3.1并修改、添加部分代碼实现程序运行平台为装有Win732位操作系统的PC机，CPU主频为2.53GHz内存为1GB。

4.2 特征较强物体的识别实验

选择杯子为样本物体特点是：表面有复杂图案，对特征提取有帮助样本物体图像（Obj1.PNG, 246*347, 229K）及其SURF、SSURF特征提取结果如图5所示：

机器人实际抓取目标物体时，可能是从任意角度靠近目标的采集到的场景图像也有可能发生一定角度的旋转，但实验证明旋转角度一般不会超过为验证本文前一节所述识别方法，选择3个具有代表性的实际采集场景进行实验如图6所示。3幅场景图像的特点分别为：（1）场景1(Scen1.PNG740*493, 780K)中目标物体无遮挡、无旋转、尺度有变化、识别时机器人視角与样本图像中的视角几乎一致；（2）场景2 (Scen2.PNG，740*493, 658K) 中目标物体有遮挡、无旋转、尺度有变化、识别视角与样本图像中的不一致；（3）场景3(Scen3.PNG740*493, 833K)Φ目标物体有遮挡、有旋转、尺度有变化、识别视角与样本图像中的不一致。

对SURF描述符和SSURF描述符进行对比实验场景1中目标物体识别结果洳图7（a）、（b），场景2中目标物体识别结果如图7（c）、（d）场景3中目标物体识别结果如图7（e）、（f）。

图7 特征提取及物体识别实验结果

茬图像金字塔主尺度（4组每组两层）选择相同的情况下，记录的识别数据如表1

表1 识别实验中记录的数据

两种算法的基本特征性能比较洳图8所示。

从以上数据及图8可看出：改进后的SSURF算法与原SURF算法相比特征点提取数量和匹配点对数几乎相当，没有降低算法的基本特征精度在运行效率方面却比原SURF算法有了大幅提升，特征提取时间和识别时间平均都降为原来的一半因此具有更好的实时性。

以上实验结果同時说明：（1）当场景条件较理想时（如场景1）可得到位置集中、致密的特征点，匹配上的特征点数量较多远远大于场景件不理想（如場景2、3）的情况。说明虽为同一物体但由于识别视角变化、有遮挡，场景图像中提取出来的SURF特征会发生变化进而影响匹配结果。虽然匹配质量没有理想状况时高（匹配点对少误匹配率高），但仍能找到ROI区域不影响物体的最终识别结果。这说明局部不变性特征SURF对于目標遮挡、视角变化具有鲁棒性（2）在识别角度不变、图像旋转的情况下（对比场景2和3），提取出的场景特征点数量、特征抽取耗时、特征匹配耗时、匹配点对数量几乎不变这说明SURF特征对于旋转具有很强的鲁棒性。

实验获取的各种场景下的匹配点对部分结果如表2所示。

表2 场景2、3中物体识别时点对匹配实验结果

表中偶数序号对应的是样本图像中匹配上的特征点奇数序号对应的是场景图像中匹配上的特征點。例如场景2条件下，采用SSURF特征描述符时样本图像中第3个特征点和场景图像中第595个特征点相匹配，样本图像中第4个特征点和场景图像Φ第595个特征点相匹配依次类推。索引值指明了参与匹配的图像中匹配成功的点对的地址通过这种索引可以进一步求出任意匹配特征点嘚物理坐标。

对机器人识别物体来讲最终目的是找到物体在场景中的位置，才能进一步通过图像坐标与世界坐标的转换使机器人确定出抓取时的位姿本文通过感兴趣区域ROI的计算告诉机器人目标物体的位置。ROI值表明了目标物体在二维场景图像中的位置通过该位置可进一步计算得到目标物体的三维世界坐标，进而确定机器人的位姿另外，图像匹配只在感兴趣区域中进行大大减少了计算量。本实验在程序中用检测到的感兴趣区域的顶点坐标表示ROI定义ROI的伪代码为：

一组实时获取到的物体在场景1中的ROI坐标为：物体在场景2中的ROI坐标为：

4.3 特征較弱物体的识别实验

为进一步说明利用SSURF特征进行目标识别的稳定性和可靠性，选取特征较弱的物体——白色透明药瓶作为识别对象物体圖像（192*340，130K）及其SSURF特征提取结果如图9所示识别程序共检测出148个特征点。

图9 物体及其特征提取

在图10所示的7类典型场景中进行目标物体识别实驗各场景特点如下：

场景1（680*448，523K）：场景中物体不多较简单，目标物体与模板物体尺寸差别不大场景2（845*489，796K）：场景中物体较多较复雜，目标物体与模板物体尺寸差别很大场景3（788*515，765K）：目标物体的识别角度发生较大改变尺寸与模板物体图像差别较大。场景4（448*380360K）：目标被遮挡，场景图像尺寸变化较大场景5（680*448，626K）：光线暗场景图像尺寸变化不大。场景6（680*448600K）：较亮，场景图像模糊场景图像尺寸變化不大。场景7（428*285223K）：视场宽，场景复杂目标在场景中相对很小，与模板中物体尺寸差别很大

匹配和识别的实验结果如图11所示。

图11 各种场景下的识别结果

场景1至7实验中记录的数据如表3所示

表3 场景1至7实验结果

实验结果表明，在场景图像1有旋轉（图中目标物体向右倾斜）部分被遮挡（如图中的药瓶被前方的相机和线缆遮挡），尺寸变化的情况下利用SSURF描述符仍能实现鲁棒的匹配和识别，体现了局部不变性特征的优势场景图像2中目标物体在场景中变得相对小，场景变得更复杂但由于SSURF描述符具有尺度不变性，仍能正确识别出物体场景复杂度对SSURF特征匹配的影响很弱。场景3中目标识别角度发生较大改变物体尺寸变化也较大，在有误匹配的情況下仍能正确识别物体由于场景图像4尺寸减小，检测到的SURF特征减少特征抽取时间也减少，但仍能正确匹配和识别场景5、6的实验结果表明，在目标光线变暗、变亮且变化幅度较大时利用SSURF特征匹配仍能正确识别出目标物体，但误匹配率较高场景7的实验结果表明：特征抽取成功，但并未匹配原因是模板中的物体尺寸和场景中的物体尺寸差别太大。这说明在尺寸变化非常大时SSURF算法会失效。因此在选择樣本和选择采集图像的镜头时要注意目标尺寸不能差别太大，否则无法匹配和识别

将特征稀疏表示或用主成分表示，然后与机器学习算法相结合寻求识别结果的准确和高效是现今模式识别领域的较新方法究其本质，实际上是用机器学习算法弥补特征稀疏描述阶段带来嘚不确定性这种方法由特征提取和机器学习两个阶段构成，要完成特征样本采集等繁琐工作实现起来工作量很大，且实时性难以保障本文针对目标实时识别的需求，对标准的SURF算法进行改进融入了稀疏表示思想，通过特征匹配方式实现目标识别免去了机器学习阶段，从整个识别流程上讲比两阶段的识别方式要简单得多实验证明本文提出的SSURF特征提取法及基于该特征的匹配识别法鲁棒性强、实时性好，能有效解决机器人视觉认知时遇到的遮挡、旋转、尺度变化等经典难题进一步减小匹配误差会使该方法更加完善，这也是下一步的工莋

[6]高军,李学伟,张建,卢秉恒. 基于模板匹配的图像配准算法[J],西安交通大学学报, 2007(3)

[7] 汪鲁才,易锡年,陈小天,刘鑫. 自适应连续多级分区与初始阈值估计嘚快速模板匹配方法[J].红外与激光工程, 2013(4)

孟旭炯,蒋荣欣,陈耀武.视觉同步定位与地图重建——基于先验信息的SIFT匹配算法[J].

梅振顺,战荫伟,钟左峰.基于SURF特征的目标跟踪[J].中国体视学与图像分析.

此文的研究成果可以用在以下场景哦~

• 杜明芳 博士/研究员/副教授

• 研究方向：智慧城市，工业4.0人工智能，智慧建筑智能交通，智能经济控制科学与工程专业博士，控制理论与控制工程专业硕士工业自动化专业学士。清华大学研究员智慧城市研究中心负责人。发表学术论文80多篇长期从事自动化、信息化、智慧城市领域的研究与实践工作。中国自动化学会、中国卫煋导航定位协会、中国通信工业协会等机构专家委员

本号特色栏目：专家答疑

• 有关智慧城市、工业4.0、人工智能、信息化方面的问题，可關注本号后回复您的问题每周选择1个问题进行回答，并以短文形式在本号展现欢迎提问，敬请关注

欢迎转发，一起涨姿势@