人脸识别的弊端是会出现误差，影响人的判断结果；信息的可靠性及稳定性较弱；人脸所蕴含的信息量是比较少的，其变化的复杂性不够，辨识性不是很高；人自身内在的变化以及外在的环境的变化都会影响采集时人脸的信息稳定度。
技术水平的角度来看，人脸是唯一不需要用户主动配合就可以采集到的生物特征信息。其他生物特征的采集过程，如指纹、掌纹、虹膜、静脉、视网膜，都需要以用户的主动配合为前提，即如用户拒绝采集，无法获得高质量的特征信息。从社会心理的角度来看，通过人脸识别身份，符合人的视觉识别经验，容易被使用者接受。如人们在采集指纹和虹膜时，会担心隐私泄漏，但是每天被街头的几百台监控摄像机拍摄，却不感到被侵犯，因为人脸天生就暴露在外，被认为是识别身份的天然特征。那么人脸识别技术有哪些弊端呢？
人脸识别的技术弊端
1.人脸识别技术也会出现误差，影响人的判断结果。
2.人脸识别的一个缺点在于信息的可靠性及稳定性较弱。
3.人脸所蕴含的信息量较指纹、虹膜等生物特征相比是比较少的，其变化的复杂性不够。例如，若要两个人的指纹或者虹膜基本相同，大概需要好几十乃至上百个比特达到完全重合才可以。但如果是人脸的话，十几个比特达到重合就可以了。在全世界可以找到很多具有相似性的面孔。所以说，人脸的辨识性不是很高，它并没有那么独一无二。
4.另外，人自身内在的变化以及外在的环境的变化都会影响采集时人脸的信息稳定度。相较于之前的人脸识别技术，目前的人脸识别技术有所提高，但是具体应用是还是不能达到完美状态，保守估计，人脸识别技术的准确率能达到 99%。
人脸识别的技术难点
1.光照问题
光照变化是影响人脸识别性能的最关键因素，对该问题的解决程度关系着人脸识别实用化进程的成败。由于人脸的 3D 结构，光照投射出的阴影，会加强或减弱原有的人脸特征。尤其是在夜晚，由于光线不足造成的面部阴影会导致识别率的急剧下降，使得系统难以满足实用要求。同时，理论和实验还证明同一个体因光照不同引起的差异，大于同一光照下不同个体之间的差异。光照问题是机器视觉中的老问题，在人脸识别中的表现尤为明显。解决光照问题的方案有三维图像人脸识别和热成像人脸识别。但这两种技术还远不成熟，识别效果不尽人意。
2.姿态问题
人脸识别主要依据人的面部表象特征来进行，如何识别由姿态引起的面部变化就成了该技术的难点之一。姿态问题涉及头部在三维垂直坐标系中绕三个轴的旋转造成的面部变化，其中垂直于图像平面的两个方向的深度旋转会造成面部信息的部分缺失。使得姿态问题成为人脸识别的一个技术难题。针对姿态的研究相对比较的少，目前多数的人脸识别算法主要针列正面、准正面人脸图像，当发生俯仰或者左右侧而比较厉害的情况下，人脸识别算法的识别率也将会急剧下降。
3.表情问题
面部幅度较大的哭、笑、愤怒等表情变化同样影像着面部识别的准确率。现有的技术对这些方面处理得还不错，论是张嘴还是做一些夸张的表情，计算机都可以通过三维建模和姿态表情校正的方法把它纠正出来。
4.遮挡问题
对于非配合情况下的人脸图像采集，遮挡问题是一个非常严重的问题。特别是在监控环境下，往往被监控对象都会带着眼镜、帽子等饰物，使得被采集出来的人脸图像有可能不完整，从而影响了后面的特征提取与识别，甚至会导致人脸检测算法的失效。
5.年龄变化
随着年龄的变化，一个人从少年变成青年，变成老年，他的容貌可能会发生比较大的变化，从而导致识别率的下降。对于不同的年龄段，人脸识别算法的识别率也不同。这个问题最直接的例子就是身份证照片的识别，在我国身份证的有效期一般都是 20 年，这 20 年间每个人的容貌必然会发生相当大的变化，所有在识别上也同样存在很大的问题。
6.人脸相似性
不同个体之间的区别不大，所有的人脸的结构都相似，甚至人脸器官的结构外形都很相似。这样的特点对于利用人脸进行定位是有利的，但是对于利用人脸区分人类个体是不利的。以模仿某个明星为目标的化妆、整容等人为因素加大了这个问题的难度。尤其是双胞胎的问题，人脸识别系统究竟能不能正确的识别出来，这个其实在学术界也是有争论的。有专家认为双胞胎根本不应该靠人脸识别技术进行分辨，它是没法用人脸识别技术来准确进行区分的。
7.动态识别
非配合性人脸识别的情况下，运动导致面部图像模糊或摄像头对焦不正确都会严重影响面部识别的成功率。在地铁、高速公路卡口、车站卡口、超市反扒、边检等安保和监控识别的使用中，这种困难明显突出。
8.人脸防伪
伪造人脸图像进行识别的主流欺骗手段是建立一个三维模型，或者是一些表情的嫁接。随着人脸防伪技术的完善、3D 面部识别技术、摄像头等智能计算视觉技术的引入，伪造面部图像进行识别的成功率会大大降低。
9.样本缺乏
基于统计学习的人脸识别算法是目前人脸识别领域中的主流算法，但是统计学习方法需要大量的训练。由于人脸图像在高维空间中的分布是一个不规则的流形分布，能得到的样本只是对人脸图像空间中的一个极小部分的采样，如何解决小样本下的统计学习问题有待进一步的研究。此外，现在参与训练的人脸图像库基本都是外国人的图像，有关中国人、亚洲人的人脸图像库少之又少，给训练人脸识别模型增加了难度。
10.图像质量问题
人脸图像的来源可能多种多样，由于采集设备的不同，得到的人脸图像质量也不一样，特别是对于那些低分辨率、噪声大、质量差的人脸图像（如手机摄像头拍摄的人脸图片、远程监控拍摄的图片等）如何进行有效地人脸识别是个需要关注的问题。同样的，对于高分辨图像对人脸识别算法的影响也需要进一步的研究。现在，我们在人脸识别时，一般采用的都是相同尺寸，清晰度很接近的人脸图片，所以图像质量问题基本可以解决，但是面对现实中更加复杂的问题，还需要继续优化处理。
