得益于近年来手机产业的快速发展,以及苹果iPhone X创新式的引用3D摄像头,让3D传感首次大规模进入了消费者的视线当中并得到快速发展。据MarketsandMarkets预估,人脸识别全球市场产值将从2017年的40.5亿美元,成长至2020年的77.6亿美元,可以预测市场的快速成长将带动并加速各种行业在人脸识别的应用发展。
艾迈斯半导体先进光学传感器部门执行副总裁兼总经理Jennifer Zhao
作为全球领先的先进传感器解决方案设计和制造商,艾迈斯半导体(
ams AG)为消费、通信、工业、医疗和汽车市场提供传感器(包括光学传感器)、接口和相关软件,同时针对近年来市场出现的结构光、主动立体视觉、ToF(Time of Flight)等主流3D传感方案,艾迈斯半导体也根据客户的不同需求,提出了不同的解决方案。
4月11日,在EEVIA第八届年度中国ICT媒体论坛上,艾迈斯半导体先进光学传感器部门执行副总裁兼总经理Jennifer Zhao发表了“艾迈斯半导体持续创新,灵活应对瞬息万变的智能手机市场”主题演讲,向业界媒体和工程师展示了艾迈斯的最新3D传感解决方案以及应用理念。
结构光(Structured Light)是通过红外激光器,将具有一定结构特征的光线投射到被拍摄物体上,再由专门的红外摄像头进行采集反射的结构光图案,根据三角测量原理进行深度信息的计算。
结构光深度相机原理示意图(注意E端发射的带图案的光源)
结构光法不依赖于物体本身的颜色和纹理,采用了主动投影已知图案的方法来实现快速鲁棒的匹配特征点,能够达到较高的精度,也大大扩展了适用范围。据艾迈斯半导体先进光学传感器部门执行副总裁兼总经理Jennifer Zhao介绍,“结构光的距离和深度以及安全适应都是最佳的,当然它的价位也是最高的,这也就是为何目前只有高端手机选择结构光的原因。”不过,结构光也有其缺点,比如室强光环境下基本不能使用,测量距离较近,容易受到光滑平面反光的影响等。
基于双目立体视觉的深度相机类似人类的双眼,和基于ToF、结构光原理的深度相机不同,它不对外主动投射光源,完全依靠拍摄的两张图片(彩色RGB或者灰度图)来计算深度,因此有时候也被称为被动双目深度相机。
双目立体视觉是基于视差,由三角法原理进行三维信息的获取,即由两个摄像机的图像平面和北侧物体之间构成一个三角形。一直两个摄像机之间的位置关系,便可以获得两摄像机公共视场内物体的三维尺寸及空间物体特征点的三维坐标。所以,双目视觉系统一般由两个摄像机构成。
双目立体视觉三维测量原理
左摄像机像面上的任意一点只要能在右摄像机像面上找到对应的匹配点,就完全可以确定该点的三维坐标。这种方法是点对点的运算,像平面上所有点只要存在相应的匹配点,就可以参与上述运算,从而获取对应的三维坐标。
从目前来看,随着
机器视觉理论的发展,立体视觉在机器视觉研究中发回来看了越来越重要的作用。Jennifer Zhao表示,“主动立体视觉比较适合覆盖中等的距离,它的深度图质量也是比较优良,但是精度没有结构光好,由于比较简单,价位比结构光更具有优势,所以其受到一些客户的青睐。”
第八届年度中国电子ICT媒体论坛暨2019产业和技术展望研讨会现场
双目立体视觉因为不需要像ToF和结构光那样使用特殊的发射器和接收器,使用普通的消费级RGB相机即可。因此对相机硬件要求低,成本也低。另外,由于直接根据环境光采集图像,所以双目立体视觉在室内、室外都能使用。当然双目立体视觉也有其自身缺点,对环境光照非常敏感。双目立体视觉法依赖环境中的自然光线采集图像,而由于光照角度变化、光照强度变化等环境因素的影响,拍摄的两张图片亮度差别会比较大,这会对匹配算法提出很大的挑战。
立体视觉(左)和结构光(右)深度相机拍摄的图像和对应的深度图
除结构光、主动立体视觉外,艾迈斯还提供第三种3D传感解决方案—ToF。ToF技术到底是什么?和现在大热的结构光技术、双目立体视觉技术到底有什么区别?ToF(Time of Flight,飞行时间)的基本原理是通过红外发射器发射调制过的光脉冲,遇到物体反射后,用接收器接收反射回来的光脉冲,并根据光脉冲的往返时间计算与物体之间的距离。这种调制方式对发射器和接收器的要求较高,光速那么快,对于时间的测量有极高的精度要求。
ToF飞行时间法深度测量基本原理示意图
由于测量光的飞行时间需要非常高的频率和精度,早期的ToF设备在体积上一直存在问题,成本也高,所以较多用于工业领域。ToF的小型化极大依赖于近年来集成电路与传感器技术上的突破,使得在CMOS芯片上对光脉冲相位的测量逐渐变得可行。有芯片上的解决方案,才有小型化和低成本的产品出现。不过,据Jennifer Zhao表示,“ToF方案比较适合中远距离应用,目前艾迈斯的相关产品可以做到5M左右的距离。”
自2017年9月,苹果iPhone X首次将3D传感技术运用到手机当中,也将该项技术广泛地带入大众视野中,此后安卓手机厂商纷纷跟进。由于3D传感较多集中在手机前置位置,因此应用厂商对其体积要求较高,而作为目前市场上三种3D传感技术之一的ToF方案,由于系统集成比较简单,其尺寸是所有方案里最小的。对此,Jennifer Zhao表示,“不管客户选择哪种方案,艾迈斯都有成熟的解决方案提供给客户。而这也就是艾迈斯公司的理念。”
艾迈斯在3D系统领域的优势,不仅包括提供成熟的硬件,也有软件和相关的应用软件。在硬件方面,艾迈斯提供有光源、光路和先进的光学分装,也有NIR和ToF的摄像头。在软件方面,艾迈斯与合作伙伴强强联手,为客户提供更全面的软件方案。
目前艾迈斯3D传感方案主要应用在手机前置的脸部识别,诸如设备解锁、身份认证等,还有一些像面具、替身、VR、AR等应用。除此以外,艾迈斯还看到了更广市场应用,其一,是智能家居和自动化,如在智能家居方面,艾迈斯3D传感方案被用来检测人的位置、手势识别、虚拟影射等;在工业自动化方面,像3D位置传感、自动化
机器人、模式识别等应用。其二,在汽车应用方面,一些汽车厂商也采用了艾迈斯3D传感方案用于驾驶员的身份认证及驾驶员的监控和智能手势识别等。