1、 2018 人脸识别 研究报告 AMiner 研究报告第十三期 知识智能联合研究中心（K&I） 2018 年 10 月 清华大学计算机系中国工程科技知识中心 1 1概述篇概述篇 . 2 2 1.1 基本概念 . 2 1.2 发展历程 . 3 1.3 中国政策支持 . 4 1.4 发展热点 . 6 1.5 相关会议 . 7 2 2技术篇技术篇 . 1010 2.1 人脸识别流程 . 10 2.1.1 人脸图像的采集与预处理 . 10 2.1.2 人脸检测 . 11 2.1.3 人脸特征提取 . 13 2.1.4 人脸识别 . 13 2.1.5 活体鉴别 . 13 2.2 人脸识别主要方法 . 1
2、4 2.2.1 基于特征脸的方法 . 14 2.2.2 基于几何特征的方法 . 14 2.2.3 基于深度学习的方法 . 15 2.2.4 基于支持向量机的方法 . 15 2.2.5 其他综合方法 . 16 2.3 人脸识别三大经典算法 . 16 2.3.1 特征脸法（Eigenface） . 16 2.3.2 局部二值模式（Local Binary Patterns，LBP） . 16 2.3.3 Fisherface . 17 Contents 目录 2.3.4 经典论文 . 17 2.4 常用的人脸数据库 . 18 3 3人才篇人才篇 . 2222 3.1 学者概况 . 22 3.2 国
3、外人才简介 . 24 3.3 国内人才简介 . 30 4 4应用篇应用篇 . 3636 4.1 国内人脸识别领头企业 . 36 4.1.1 商汤科技 . 36 4.1.2 云从科技 . 36 4.1.3 旷视科技 . 37 4.2 应用领域 . 37 4.2.1 门禁人脸识别 . 37 4.2.2 市场营销 . 38 4.2.3 商业银行 . 38 5 5趋势篇趋势篇 . 4141 5.1 机器识别与人工识别相结合 . 41 5.2 3D 人脸识别技术的广泛应用 . 41 5.3 基于深度学习的人脸识别技术的广泛应用 . 42 5.4 人脸图像数据库的实质提升 . 43 图表目录 图 1 人脸
4、识别技术发展历程 . 4 图 2 人脸识别相关热点 . 6 图 3 人脸识别词云分析 . 7 图 4 人脸识别技术流程 . 10 图 5 人脸识别学者 TOP1000 全球分布图 . 22 图 6 人脸识别专家国家数量排名 . 22 图 7 人脸识别全球学者 h-index 统计 . 23 图 8 人脸识别全球人才迁徙图 . 23 图 9 人脸识别学者中国分布图 . 30 图 10 人脸识别中国学者 h-index 统计 . 30 表 1 人脸识别相关政策 . 5 表 2 Citation 前十的人脸识别专家 . 24 表 3 h-index 前十的人脸识别专家 . 24 表 4 苹果在 3D
5、 视觉领域的布局 . 41 扫码订阅 摘要摘要 自20世纪下半叶，计算机视觉技术逐渐地发展壮大。同时，伴随着数字图像相关的软硬件技术在人们生活中的广泛使用， 数字图像已经成为当代社会信息来源的重要构成因素， 各种图像处理与分析的需求和应用也不断促使该技术的革新。 本研究报告对人脸识别这一课题进行了简单梳理，主要包括以下内容： 人脸人脸识别识别概述。概述。 人脸识别， 是基于人的脸部特征信息进行身份识别的一种生物识别技术。报告首先介绍了人脸识别区别于其他生物特征识别方法的五项优势， 包括非侵扰性、 便捷性、友好性、非接触性、可扩展性等；其次我们对人脸识别技术的发展历程进行梳理；接下来，报告介绍了
6、当代中国政府对人脸识别技术发展的相关政策支持， 这是人脸识别技术在我国得以蓬勃发展的有利宏观背景；第四，通过对遗忘人脸识别领域论文的挖掘，我们总结出人脸识别领域的研究热点；最后，我们介绍了与人脸识别相关的国际著名会议，以帮助读者更好获取人脸识别热点渠道。 人脸人脸识别识别技术原理。技术原理。 研究首先介绍了人脸识别的五大技术流程， 包括人脸图像的采集与预处理、人脸检测、人脸特征提取、人脸识别和活体鉴别；其次，研究介绍了目前人脸识别的主要方法，包括基于特征脸的方法、基于几何特征的方法、基于深度学习的方法、基于支持向量机的方法和其他综合方法；第三，我们介绍了人脸识别的三大经典算法，分别为特征脸法、
7、局部二值模式和 Fisherface，并简要概括了关于这三大经典算法的经典论文，供读者有更好的了解。最后，随着人脸识别技术的发展，不同的研究机构发展出了不同的人脸数据库，研究列出其中部分供读者参考和探索。 人脸人脸识别识别领域人才介绍。领域人才介绍。基于 AMiner 大数据，对超级计算机领域专家进行深入挖掘和介绍。 包括顶尖学者的全球与中国分布、 迁徙概况、 h-index 分析， 并依据 AMiner 评价体系，在世界层面选择瞩目的六位学者与中国两个层面上的五位出色学者进行详细介绍。 人脸人脸识别识别技术应用技术应用领域领域。 我们首先对国内人脸识别的三大领头企业进行介绍， 包括商汤科技、
8、云从科技、旷视科技。其次，人脸识别技术应用广泛，在公共安全、信息安全、政府职能等多个领域都有所涉及， 研究重点介绍了人脸识别技术在门禁、 市场营销和商业银行中的重点应用。随着人脸识别技术的发展，相信其将会迎来更加广泛、深入的发展空间。 人脸人脸识别技术识别技术发展趋势预测。发展趋势预测。 人脸识别技术无论是在科学领域还是工程领域、 理论研究还是现实生活中，其应用十分广泛，有着极为广阔的发展前景。本文在结合当前应用的基础上，对人脸识别未来的发展趋势做出了四点相应的预测，机器识别与人工识别相结合、人脸识别技术的广泛应用、 基于深度学习的人脸识别技术的广泛应用、 人脸图像数据库的实质提升是目前超级计
9、算机发展的热门趋势。 1 concept 概述篇 2 1 1概述篇概述篇 1.1 1.1 基本概念基本概念 人类视觉系统的独特魅力驱使着研究者们试图通过视觉传感器和计算机软硬件模拟出人类对三维世界图像的采集、处理、分析和学习能力，以便使计算机和机器人系统具有智能化的视觉功能。在过去 30 年间，众多不同领域的科学家们不断地尝试从多个角度去了解生物视觉和神经系统的奥秘，以便借助其研究成果造福人类。自 20 世纪下半叶，计算机视觉技术就在此背景下逐渐地发展壮大。 同时， 伴随着数字图像相关的软硬件技术在人们生活中的广泛使用， 数字图像已经成为当代社会信息来源的重要构成因素， 各种图像处理与分析的需
10、求和应用也不断促使该技术的革新。 计算机视觉技术的应用十分广泛。数字图像检索管理、医学影像分析、智能安检、人机交互等领域都有计算机视觉技术的涉足。 该技术是人工智能技术的重要组成部分， 也是当今计算机科学研究的前沿领域。经过近年的不断发展，已逐步形成一套以数字信号处理技术。计算机图形图像、 信息论和语义学相互结合的综合性技术， 并具有较强的边缘性和学科交叉性。其中，人脸检测与识别当前图像处理、模式识别和计算机视觉内的一个热门研究课题，也是目前生物特征识别中最受人们关注的一个分支。 人脸识别， 是基于人的脸部特征信息进行身份识别的一种生物识别技术。 通常采用摄像机或摄像头采集含有人脸的图像或视频
11、流， 并自动在图像中检测和跟踪人脸。 根据中国报告网发布2018 年中国生物识别市场分析报告-行业深度分析与发展前景预测中内容，2017年生物识别技术全球市场规模上升到了 172 亿美元，到 2020 年，预计全世界的生物识别市场规模有可能达到 240 亿美元。自 2015 年到 2020 年，人脸识别市场规模增长了 166.6%，在众多生物识别技术中增幅居于首位， 预计到 2020 年人脸识别技术市场规模将上升至 24 亿美元。 在不同的生物特征识别方法中， 人脸识别有其自身特殊的优势， 因而在生物识别中有着重要的地位。 (1)(1) 非侵扰性非侵扰性 人脸识别无需干扰人们的正常行为就能较好
12、地达到识别效果， 无需担心被识别者是否愿意将手放在指纹采集设备上， 他们的眼睛是否能够对准虹膜扫描装置等等。 只要在摄像机前自然地停留片刻，用户的身份就会被正确识别。 (2)(2) 便捷性便捷性 采集设备简单，使用快捷。一般来说，常见的摄像头就可以用来进行人脸图像的采集，不需特别复杂的专用设备。图像采集在数秒内即可完成。 3 (3)(3) 友好性友好性 通过人脸识别身份的方法与人类的习惯一致，人和机器都可以使用人脸图片进行识别。而指纹，虹膜等方法没有这个特点，一个没有经过特殊训练的人，无法利用指纹和虹膜图像对其他人进行身份识别。 (4)(4) 非非接触性接触性 人脸图像信息的采集不同于指纹信息
13、的采集， 利用指纹采集信息需要用手指接触到采集设备， 既不卫生， 也容易引起使用者的反感， 而人脸图像采集， 用户不需要与设备直接接触。 (5)(5) 可扩展性可扩展性 在人脸识别后，下一步数据的处理和应用，决定着人脸识别设备的实际应用，如应用在出入门禁控制、人脸图片搜索、上下班刷卡、恐怖分子识别等各个领域，可扩展性强。 正是因为人脸识别拥有这些良好的特性， 使其具有非常广泛的应用前景， 也正引起学术界和商业界越来越多的关注。人脸识别已经广泛应用于身份识别、活体检测、唇语识别、创意相机、人脸美化、社交平台等场景中。 1.2 1.2 发展历程发展历程 早在 20 世纪 50 年代，认知科学家就已
14、着手对人脸识别展开研究。20 世纪 60 年代，人脸识别工程化应用研究正式开启。 当时的方法主要利用了人脸的几何结构， 通过分析人脸器官特征点及其之间的拓扑关系进行辨识。这种方法简单直观，但是一旦人脸姿态、表情发生变化，精度则严重下降。 2020世纪世纪9090年代年代 1991 年，著名的“特征脸” （Eigenface）方法第一次将主成分分析和统计特征技术引入人脸识别， 在实用效果上取得了长足的进步。 这一思路也在后续研究中得到进一步发扬光大，例如，Belhumer 成功将 Fisher 判别准则应用于人脸分类，提出了基于线性判别分析的Fisherface 方法。 20002000- -2
15、0122012年年 21 世纪的前十年，随着机器学习理论的发展，学者们相继探索出了基于遗传算法、支持向量机（Support Vector Machine，SVM）、boosting、流形学习以及核方法等进行人脸识别。2009 年至 2012 年，稀疏表达（Sparse Representation）因为其优美的理论和对遮挡因素的鲁棒性成为当时的研究热点。与此同时，业界也基本达成共识：基于人工精心设计的局部描述子进行特征提取和子空间方法进行特征选择能够取得最好的识别效果。 Gabor 及 LBP 特征描述子是迄今为止在人脸识别领域最为成功的两种人工设计局部描 4 述子。这期间，对各种人脸识别影响
16、因子的针对性处理也是那一阶段的研究热点，比如人脸光照归一化、人脸姿态校正、人脸超分辨以及遮挡处理等。 也是在这一阶段， 研究者的关注点开始从受限场景下的人脸识别转移到非受限环境下的人脸识别。LFW 人脸识别公开竞赛（LFW 是由美国马萨诸塞大学发布并维护的公开人脸数集，测试数据规模为万）在此背景下开始流行，当时最好的识别系统尽管在受限的 FRGC 测试集上能取得 99%以上的识别精度，但是在 LFW 上的最高精度仅仅在 80%左右，距离实用看起来距离颇远。 20132013年年 2013 年，微软亚洲研究院的研究者首度尝试了 10 万规模的大训练数据，并基于高维LBP 特征和 Joint Ba
17、yesian 方法在 LFW 上获得了 95.17%的精度。这一结果表明：大训练数据集对于有效提升非受限环境下的人脸识别很重要。然而，以上所有这些经典方法，都难以处理大规模数据集的训练场景。 20142014年年 2014 年前后，随着大数据和深度学习的发展，神经网络重受瞩目，并在图像分类、手写体识别、语音识别等应用中获得了远超经典方法的结果。香港中文大学的 Sun Yi 等人提出将卷积神经网络应用到人脸识别上，采用 20 万训练数据，在 LFW 上第一次得到超过人类水平的识别精度，这是人脸识别发展历史上的一座里程碑。 自此之后，研究者们不断改进网络结构，同时扩大训练样本规模，将 LFW 上的
18、识别精度推到 99.5%以上。人脸识别发展过程中一些经典的方法及其在 LFW 上的精度，都有一个基本的趋势：训练数据规模越来越大，识别精度越来越高。 1.3 1.3 中国中国政策支持政策支持 2015 年以来，国家密集出台了关于银行业金融机构远程开立人民币账户的指导意见20世纪50年代，认知科学家着手对人脸识别展开研究20世纪60年代，人脸识别工程化应用研究正式开启20世纪90年代，“特征脸”方法应用并发扬光大2000-2012年，局部描述子对人工识别的推动2013年，微软亚洲研究院首度尝试了10万规模的大训练数据2014年前后，随着大数据和深度学习的发展，神经网络重受瞩目图 1 人脸识别技术
19、发展历程 5 （征求意见稿），给人脸识别普及打开了门缝；其后，安全防范视频监控人脸识别系统技术要求、信息安全技术网络人脸识别认证系统安全技术要求等法律法规，为人脸识别在金融、安防、医疗等领域的普及打下了坚实的基础，扫清了政策障碍。同时，2017 年人工智能首次写入国家政府报告， 作为人工智能的重要细分领域， 国家对人脸识别相关的政策支持力度在不断的加大。2017 年 12 月发布的促进新一代人工智能产业发展三年行动计划（2018-2020 年）规划“到 2020 年，复杂动态场景下人脸识别有效检出率超过 97%，正确识别率超过 90%”。 表 1 人脸识别相关政策 时间时间 政策名称政策名称
20、发布部门发布部门 主要内容主要内容 2015 年 1 月 7 日 关于银行业金融机构远程开立人民币账户的指导意见（征求意见稿） 中国人民银行 坚持柜台开户为主、远程开户为辅；实施客户身份识别机制的自证 2015 年 4 月 14 日 关于加强社会治安防控体系建设的意见 中共中央办公厅、公务员办公厅 提出网络化管理要求，以精准信息做到矛盾化解，未来网络化精确管理是平安城市和智能交通管理的发展方向 2015 年 5 月 15 日 安全防范视频监控人脸识别系统技术要求 国家质量检测检验检验总局、国家标准化管理委员会 适用于以安全防范为目的的视频监控人脸识别系统的总体规划、方案设计、设备生产、质量控制
21、等，其他领域可参考使用 2015 年 12 月 25 日 中国人民银行关于改进个人银行账户服务加强账户管理的通知 中国人民银行 提供个人银行开立服务时，有条件的银行可探索生物特征识别技术和其他有效的技术手段作为核验 2016 年 5 月 18 日 “互联网”人工智能三年行动实施方案 发改委、科技部、工信部、中央网信办 到 2018 年， 打造人工智能基础资源与创新平台、人工智能产业体系、创新服务体系、标准化体系基本建立，这项政策的发布将人工智能普及到政府和企业之间 2016 年 11 月 29 日 关于落实个人银行账户分类管理制度的通知 中国人民银行 对类、类银行账户的开立、变更、注销、个人信
22、息验证办法、视频及人脸识别等技术手段以及不同账户的使用功能和限制等作了详细的规定 6 1.4 1.4 发展热点发展热点 研究通过对以往人脸识别领域论文的挖掘， 总结出人脸识别领域的研究关键词主要集中在人脸识别、 特征提取、 稀疏表示、 图像分类、 神经网络、 目标检测、 人脸图像、 人脸检测、图像表示、计算机视觉、姿态估计、人脸确认等领域。 图 2 是对人脸识别研究趋势的分析， 旨在基于历史的科研成果数据的基础上， 对技术来源、热度甚至发展趋势进行研究。图 2 中，每个彩色分支代表一个关键词领域，其宽度表示该关键词的研究热度， 各关键词在每一年份的位置是按照这一时间上所有关键词的热度高度进行排
23、序。起初，Computer Vision（计算机视觉）是研究的热点，在 20 世纪末期，Feature Extraction （特征提取） 超越 CV， 成为研究的新热点， 其后在 21 世纪初期被 Face Recognition超过，至今一直处在第二的位置上。 图 2 人脸识别相关热点 此外，研究根据最近两年发表于 FG（International Conference on Automatic Face and Gesture Recognition）的论文中提取出来的关键词发现，Face Recognition 出现频率最高，为118 次，Object Detection 排在第二位，
24、为 41 次，Image Classification 和 Object Recognition 以36 次并列第三， 出现次数超过十次的词汇还有 Image Segmentation （32） 、 Action Recognition（32）、Sparse Representation（28）、Image Retrieval（27）、Visual Tracking（24）、Single Image（23）。词云图如下所示： 2017 年 3 月 5 日 2017 年政府工作报告 国务院 加快培育壮大包括人工智能在内的新兴产业 2017 年 12 月 13 日 促进新一代人工智能产业发展三年行
25、动计划（2018-2020 年） 工信部 发展视频图像身份识别系统，到2020 年，复杂动态场景下人脸识别有效检出率超过 97%，正确识别率超过 90%，支持不同地域人脸特征识别 7 图 3 人脸识别词云分析 1.5 1.5 相关会议相关会议 （1 1）计算机视觉（计算机视觉（CVCV）界三大）界三大顶级顶级国际会议：国际会议： ICCV：IEEE International Conference on Computer Vision 该会议由美国电气和电子工程师学会 （IEEE， Institute of Electrical & Electronic Engineers）主办， 主要在欧洲
26、、 亚洲、 美洲的一些科研实力较强的国家举行。 作为世界顶级的学术会议，首届国际计算机视觉大会于 1987 年在伦敦揭幕，其后两年举办一届。ICCV 是计算机视觉领域最高级别的会议， 会议的论文集代表了计算机视觉领域最新的发展方向和水平。 论文接受率在 20%左右。方向为计算机视觉、模式识别、多媒体计算等。 近年来， 全球学界愈来愈关注中国人在计算机视觉领域所取得的科研成就， 这是因为由中国人主导的相关研究已取得了长足的进步2007 年大会共收到论文 1200 余篇，而获选论文仅为 244 篇，其中来自中国大陆，香港及台湾的论文有超过 30 篇，超过大会获选论文总数的 12%。作为最早投入深度
27、学习技术研发的华人团队，在多年布局的关键技术基础之上，香港中文大学教授汤晓鸥率领的团队迅速取得技术突破。2012 年国际计算视觉与模式识别会议（CVPR）上仅有的两篇深度学习文章均出自汤晓鸥实验室，而在 2013 年国际计算机视觉大会（ICCV）上全球学者共发表的 8 篇深度学习领域的文章中，有 6 篇出自汤晓鸥实验室。 CVPR：IEEE Conference on Computer Vision and Pattern Recognition 该会议是由 IEEE 举办的计算机视觉和模式识别领域的顶级会议。每年召开一次，录取率在 25%左右。方向为计算机视觉、模式识别、多媒体计算等。 香港
28、中文大学教授汤晓鸥率领的团队在全球范围内做出了大量深度学习原创技术突破： 8 2012 年国际计算视觉与模式识别会议 （CVPR） 上仅有的两篇深度学习文章均出自其实验室；20112013 年间在计算机视觉领域两大顶级会议 ICCV 和 CVPR 上发表了 14 篇深度学习论文，占据全世界在这两个会议上深度学习论文总数（29 篇）的近一半。他在 2009 年获得计算机视觉领域两大最顶尖的国际学术会议之一 CVPR 最佳论文奖，这是 CVPR 历史上来自亚洲的论文首次获奖。 ECCV：European Conference on Computer Vision ECCV 是一个欧洲的会议，每次会
29、议在全球范围录用论文 300 篇左右，主要的录用论文都来自美国、欧洲等顶尖实验室及研究所，中国大陆的论文数量一般在 10-20 篇之间。ECCV2010 的论文录取率为 27%。两年召开一次，论文接受率在 20%左右。方向为计算机视觉、模式识别、多媒体计算等。2018 年的 ECCV 于 2018 年 9 月 8 日-14 日在德国慕尼黑举办。 （2 2）亚洲计算机视觉会议亚洲计算机视觉会议： ACCV：Asian Conference on Computer Vision ACCV 即亚洲计算机视觉会议，是 AFCV（Asian Federation of Computer Vision，亚
30、洲计算机视觉联盟）自 1993 年以来官方组织的两年一度的会议，旨在为研究者、开发者和参与者提供一个良好的平台来展示和讨论计算机视觉领域和相关领域的新问题、新方案和新技术。2018 年第 14 届亚洲计算机视觉会议将于 2018 年 12 月 4 日-6 日在澳大利亚举办。 （3 3）人脸和手势识别专门的会议：人脸和手势识别专门的会议： FG：IEEE International Conference on Automatic Face and Gesture Recognition “International Conference on Automatic Face and Gesture
31、 Recognition”是全球范围内人脸与手势识别领域的权威学术会议。 会议方向有人脸检测、 人脸识别、 表情识别、 姿势分析、心理行为分析等。 9 technology 技术篇 10 2 2技术篇技术篇 2.1 2.1 人脸识别流程人脸识别流程 人脸识别技术原理简单来讲主要是三大步骤： 一是建立一个包含大批量人脸图像的数据库， 二是通过各种方式来获得当前要进行识别的目标人脸图像， 三是将目标人脸图像与数据库中既有的人脸图像进行比对和筛选。 根据人脸识别技术原理具体实施起来的技术流程则主要包含以下四个部分， 即人脸图像的采集与预处理、人脸检测、人脸特征提取、人脸识别和活体鉴别。 图 4 人脸
32、识别技术流程 2.1.1 2.1.1 人脸图像的采集与预处理人脸图像的采集与预处理 人脸图像的采集与检测具体可分为人脸图像的采集和人脸图像的检测两部分内容。 （1 1）人脸图像的采集）人脸图像的采集 采集人脸图像通常情况下有两种途径， 分别是既有人脸图像的批量导入和人脸图像的实时采集。 一些比较先进的人脸识别系统甚至可以支持有条件的过滤掉不符合人脸识别质量要求或者是清晰度质量较低的人脸图像，尽可能的做到清晰精准的采集。 既有人脸图像的批量导入既有人脸图像的批量导入：即将通过各种方式采集好的人脸图像批量导入至人脸识别系统，系统会自动完成逐个人脸图像的采集工作。 人脸图像的实时采集人脸图像的实时采
33、集：即调用摄像机或摄像头在设备的可拍摄范围内自动实时抓取人脸图像并完成采集工作。 （2 2）人脸图像的预处理人脸图像的预处理 人脸图像的预处理的目的是在系统对人脸图像的检测基础之上， 对人脸图像做出进一步的处理以利于人脸图像的特征提取。 人脸图像的预处理具体而言是指对系统采集到的人脸图像进行光线、 旋转、 切割、 过滤、降噪、放大缩小等一系列的复杂处理过程来使得该人脸图像无论是从光线、角度、距离、大小等任何方面来看均能够符合人脸图像的特征提取的标准要求。 在现实环境下采集图像，由于图像受到光线明暗不同、脸部表情变化、阴影遮挡等众多人脸图像的采集与预处理人脸检测人脸特征提取人脸识别活体鉴别 11
34、 外在因素的干扰，导致采集图像质量不理想，那就需要先对采集到的图像预处理，如果图像预处理不好，将会严重影响后续的人脸检测与识别。研究介绍三种图像预处理手段，即灰度调整、图像滤波、图像尺寸归一化等。 灰度调整灰度调整 因为人脸图像处理的最终图像一般都是二值化图像，并且由于地点、设备、光照等方面的差异，造成采集到彩色图像质量不同，因此需要对图像进行统一的灰度处理，来平滑处理这些差异。灰度调整的常用方法有平均值法、直方图变换法、幂次变换法、对数变换法等。 图像滤波图像滤波 在实际的人脸图像采集过程中， 人脸图像的质量会受到各种噪声的影响， 这些噪声来源于多个方面， 比如周围环境中充斥大量的电磁信号、
35、 数字图像传输受到电磁信号的干扰等影响信道，进而影响人脸图像的质量。为保证图像的质量，减小噪声对后续处理过程的影响，必须对图像进行降噪处理。去除噪声处理的原理和方法很多，常见的有均值滤波，中值滤波等。目前常用中值滤波算法对人脸图像进行预处理。 图像尺寸归一化图像尺寸归一化 在进行简单的人脸训练时候， 遇到人脸库的图像像素大小不一样时， 我们需要在上位机人脸比对识别之前对图像做尺寸归一化处理。 需要比较常见的尺寸归一化算法有双线性插值算法、最近邻插值算法和立方卷积算法等。 2 2.1.2 .1.2 人脸检测人脸检测 一张包含人脸图像的图片通常情况下可能还会包含其他内容， 这时候就需要进行必要的人
36、脸检测。也就是在一张人脸图像之中，系统会精准的定位出人脸的位置和大小，在挑选出有用的图像信息的同时自动剔除掉其他多余的图像信息来进一步的保证人脸图像的精准采集。 人脸检测是人脸识别中的重要组成部分。 人脸检测是指应用一定的策略对给出的图片或者视频来进行检索，判断是否存在着人脸，如果存在则定位出每张人脸的位置、大小与姿态的过程。人脸检测是一个具有挑战性的目标检测问题，主要体现在两方面： 人脸目标内在的变化人脸目标内在的变化引起引起： （1）人脸具有相当复杂的细节变化和不同的表情(眼、嘴的开与闭等)，不同的人脸具有不同的外貌，如脸形、肤色等；（2）人脸的遮挡，如眼镜、头发和头部饰物等。 外在条件变
37、化引起外在条件变化引起：（1）由于成像角度的不同造成人脸的多姿态，如平面内旋转、深度旋转以及上下旋转等，其中深度旋转影响较大；（2）光照的影响，如图像中的亮度、对 12 比度的变化和阴影等；（3）图像的成像条件，如摄像设备的焦距、成像距离等。 人脸检测的作用，便是在一张人脸图像之中，系统会精准的定位出人脸的位置和大小，在挑选出有用的图像信息的同时自动剔除掉其他多余的图像信息来进一步的保证人脸图像的精准采集。人脸检测重点关注以下指标： 检测率检测率：识别正确的人脸/图中所有的人脸。检测率越高，检测模型效果越好； 误检率误检率：识别错误的人脸/识别出来的人脸。误检率越低，检测模型效果越好； 漏检率
38、漏检率：未识别出来的人脸/图中所有的人脸。漏检率越低，检测模型效果越好； 速度速度：从采集图像完成到人脸检测完成的时间。时间越短，检测模型效果越好。 目前的人脸检测方法可分为三类，分别是基于肤色模型的检测、基于边缘特征的检测、基于统计理论方法1，下面将对其进行简单的介绍： 基于肤色模型的检测基于肤色模型的检测 肤色用于人脸检测时，可采用不同的建模方法，主要有高斯模型、高斯混合模型，以及非参数估计等。 利用高斯模型和高斯混合模型可以在不同颜色空间中建立肤色模型来进行人脸检测。通过提取彩色图像中的面部区域以实现人脸检测的方法能够处理多种光照的情况，但该算法需要在固定摄像机参数的前提下才有效。Com
39、aniciu 等学者利用非参数的核函数概率密度估计法来建立肤色模型， 并使用 mean-shift 方法进行局部搜索实现了人脸的检测和跟踪。这一方法提高了人脸的检测速度，对于遮挡和光照也有一定的鲁棒性。该方法的不足是和其他方法的可结合性不是很高，同时，用于人脸检测时，处理复杂背景和多个人脸时存在困难。 为了解决人脸检测中的光照问题， 可以针对不同光照进行补偿， 然后再检测图像中的肤色区域。这样可以解决彩色图像中偏光、背景复杂和多个人脸的检测问题，但对人脸色彩、位置、尺度、旋转、姿态和表情等具有不敏感性。 基于边缘特征的检测基于边缘特征的检测 利用图像的边缘特征检测人脸时，计算量相对较小，可以实
40、现实时检测。大多数使用边缘特征的算法都是基于人脸的边缘轮廓特性，利用建立的模板（如椭圆模版）进行匹配。也有研究者采用椭圆环模型与边缘方向特征，实现简单背景的人脸检测。Fr ba 等采用基于边缘方向匹配（Edge-Orientation Matching，EOM）的方法，在边缘方向图中进行人脸检测。该算法在复杂背景下误检率比较高，但是与其他的特征相融合后可以获得很好的效果。 基于统计理论方法基于统计理论方法 本文重点介绍基于统计理论方法中的Adaboost人脸检测算法。Adaboost算法是通过无数 1 焦建彬,叶齐祥,韩振军,李策.视觉目标检测与跟踪M.科学出版社,2016. 13 次循环迭代
41、来寻求最优分类器的过程。 用弱分类器Haar特征中任一特征放在人脸样本上，求出人脸特征值，通过更多分类器的级联便得到人脸的量化特征，以此来区分人脸和非人脸。Haar功能由一些简单黑色白色水平垂直或旋转45 的矩形组成。目前的Haar特征总的来说广义地分为三类：边缘特征、线特征以及中心特征2。 这一算法是由剑桥大学的 Paul Viola 和 Michael Jones 两位学者提出，该算法优点在于不仅计算速度快，还可以达到和其他算法相当的性能，所以在人脸检测中应用比较广泛，但也存在着较高的误检率。因为在采用 Adaboost 算法学习的过程中，最后总有一些人脸和非人脸模式难以区分，而且其检测的
42、结果中存在一些与人脸模式并不相像的窗口。 2.1.2.1.3 3 人脸特征提取人脸特征提取 目前主流的人脸识别系统可支持使用的特征通常可分为人脸视觉特征、 人脸图像像素统计特征等，而人脸图像的特征提取就是针对人脸上的一些具体特征来提取的。特征简单，匹配算法则简单，适用于大规模的建库；反之，则适用于小规模库。特征提取的方法一般包括基于知识的提取方法或者基于代数特征的提取方法。 以基于知识的人脸识别提取方法中的一种为例，因为人脸主要是由眼睛、额头、鼻子、耳朵、下巴、嘴巴等部位组成，对这些部位以及它们之间的结构关系都是可以用几何形状特征来进行描述的， 也就是说每一个人的人脸图像都可以有一个对应的几何
43、形状特征， 它可以帮助我们作为识别人脸的重要差异特征，这也是基于知识的提取方法中的一种。 2.1.2.1.4 4 人脸识别人脸识别 我们可以在人脸识别系统中设定一个人脸相似程度的数值， 再将对应的人脸图像与系统数据库中的所有人脸图像进行比对， 若超过了预设的相似数值， 那么系统将会把超过的人脸图像逐个输出， 此时我们就需要根据人脸图像的相似程度高低和人脸本身的身份信息来进行精确筛选，这一精确筛选的过程又可以分为两类：其一是一对一的筛选，即对人脸身份进行确认过程；其二是一对多的筛选，即根据人脸相似程度进行匹配比对的过程。 2.1.2.1.5 5 活体鉴别活体鉴别 生物特征识别的共同问题之一就是要
44、区别该信号是否来自于真正的生物体， 比如， 指纹识别系统需要区别带识别的指纹是来自于人的手指还是指纹手套， 人脸识别系统所采集到的人脸图像，是来自于真实的人脸还是含有人脸的照片。因此，实际的人脸识别系统一般需要增加活体鉴别环节，例如，要求人左右转头，眨眼睛，开开口说句话等。 2 何瑶,陈湘萍.基于 OpenCV 的人脸检测系统设计J.新型工业化,2018,8(06):83-89. 14 2.2 2.2 人脸人脸识别主要方法识别主要方法 人脸识别技术的研究是一个跨越多个学科领域知识的高端技术研究工作， 其包括多个学科的专业知识，如图像处理、生理学、心理学、模式识别等知识。在人脸识别技术研究的领域
45、中，目前主要有几种研究的方向，如：一种是根据人脸特征统计学的识别方法，其主要有特征脸的方法以及隐马尔科夫模型（HMM，Hidden Markov Model）方法等；另一种人脸识别方法是关于连接机制的，主要有人工神经网络（ANN，Artificial Neural Network）方法和支持向量机（SVM，Support Vector Machine）方法等；还有一个就是综合多种识别方式的方法3。 2.2.1 2.2.1 基于特征脸的方法基于特征脸的方法 特征脸的方法是一种比较经典而又应用比较广的人脸识别方法， 其主要原理是把图像做降维算法，使得数据的处理更容易，同时，速度又比较快。特征脸的人
46、脸识别方法，实际上是将图像做 Karhunen-Loeve 变换，把一个高维的向量转化为低维的向量，从而消除每个分量存在的关联性， 使得变换得到的图像与之对应特征值递减。 在图像经过 K-L 变换后， 其具有很好的位移不变性和稳定性。所以，特征脸的人脸识别方法具有方便实现，并且可以做到速度更快，以及对正面人脸图像的识别率相当高等优点。但是，该方法也具有不足的地方，就是比较容易受人脸表情、姿态和光照改变等因素的影响，从而导致识别率低的情况。 2.2.2 2.2.2 基于几何特征的方法基于几何特征的方法 基于几何特征的识别方法是根据人脸面部器官的特征及其几何形状进行的一种人脸识别方法， 是人们最早
47、研究及使用的识别方法， 它主要是采用不同人脸的不同特征等信息进行匹配识别，这种算法具有较快的识别速度，同时，其占用的内存也比较小，但是，其识别率也并不算高。该方法主要做法是首先对人脸的嘴巴、鼻子、眼睛等人脸主要特征器官的位置和大小进行检测，然后利用这些器官的几何分布关系和比例来匹配，从而达到人脸识别。 基于几何特征识别的流程大体如下：首先对人脸面部的各个特征点及其位置进行检测，如鼻子、嘴巴和眼睛等位置，然后计算这些特征之间的距离，得到可以表达每个特征脸的矢量特征信息，例如眼睛的位置，眉毛的长度等，其次还计算每个特征与之相对应关系，与人脸数据库中已知人脸对应特征信息来做比较， 最后得出最佳的匹配
48、人脸。 基于几何特征的方法符合人们对人脸特征的认识，另外，每幅人脸只存储一个特征，所以占用的空间比较小；同时， 这种方法对光照引起的变化并不会降低其识别率， 而且特征模板的匹配和识别率比较高。但是，基于几何特征的方法也存在着鲁棒性不好，一旦表情和姿态稍微变化，识别效果 3 蓝振潘. 基于深度学习的人脸识别技术及其在智能小区中的应用D.华南理工大学,2017. 15 将大打折扣。 2.2.3 2.2.3 基于深度学习的方法基于深度学习的方法4 深度学习的出现使人脸识别技术取得了突破性进展。 人脸识别的最新研究成果表明， 深度学习得到的人脸特征表达具有手工特征表达所不具备的重要特性，例如它是中度稀
49、疏的、对人脸身份和人脸属性有很强的选择性、 对局部遮挡具有良好的鲁棒性。 这些特性是通过大数据训练自然得到的， 并未对模型加入显式约束或后期处理， 这也是深度学习能成功应用在人脸识别中的主要原因。 深度学习在人脸识别上有 7 个方面的典型应用：基于卷积神经网络(CNN)的人脸识别方法，深度非线性人脸形状提取方法，基于深度学习的人脸姿态鲁棒性建模，有约束环境中的全自动人脸识别， 基于深度学习的视频监控下的人脸识别， 基于深度学习的低分辨率人脸识别及其他基于深度学习的人脸相关信息的识别。 其中，卷积神经网络（Convolutional Neural Networks,CNN）是第一个真正成功训练多
50、层网络结构的学习算法， 基于卷积神经网络的人脸识别方法是一种深度的监督学习下的机器学习模型，能挖掘数据局部特征，提取全局训练特征和分类，其权值共享结构网络使之更类似于生物神经网络，在模式识别各个领域都得到成功应用。CNN 通过结合人脸图像空间的局部感知区域、 共享权重、 在空间或时间上的降采样来充分利用数据本身包含的局部性等特征，优化模型结构，保证一定的位移不变性。 利用 CNN 模型， 香港中文大学的 Deep ID 项目以及 Facebook 的 Deep Face 项目在 LFW数据库上的人脸识别正确率分别达 97.45%和 97.35%只比人类视觉识别 97.5%的正确率略低。在取得突
