机器视觉系统这几年发展迅速，然而这类系统一般采用CPU、GPU或DSP设计，功耗和体积较大，难以满足嵌入式应用需求。因此，Synopsys公司近日推出了面向嵌入式应用的嵌入式视觉(EV)处理器IP——DesignWare EV视觉处理器产品系列。该EV处理器能够满足包括游戏手势控制、电视机/家庭娱乐系统手势控制、游戏虚拟现实/3D显示以及监控/面部识别等新型市场的设计需求。
据Synopsys公司DesignWare ARC处理器高级产品营销经理Mike Thompson介绍，嵌入式视觉是在嵌入式系统中使用计算机视觉来解释图像或视频意义的技术。嵌入式视觉在汽车中可用来提升安全性，在摄像头应用中可用来对目标进行检测和追踪，在游戏机中则可提升交互体验。视觉处理市场将以35%的复合年均增长率增长，到2020年，出货量将有望超过3000亿美元。
图1：Synopsys公司DesignWare ARC处理器高级产品营销经理Mike Thompson。
EV处理器做视觉处理比CPU、GPU和DSP强在哪?
DesignWare EV处理器产品系列是完全可编程和可配置的视觉处理器IP核。该系列结合了软件解决方案的灵活性与专用硬件的低成本和低功耗特性，可以提供比CPU、GPU和DSP等更高的视觉处理效率。
图2：与CPU、GPU和DSP相比，Synopsys EV处理器的视觉处理效率高很多。
“现有的视觉处理应用，包括智能监控、生物识别和机器视觉和基于云处理的城市监控技术，都是基于强大的CPU硬件和带操作系统的软件来实现的。这种解决方案尽管处理能力很强，但功耗很大，响应速度较慢。而一些特别的应用，如车载交通信号识别、人脸识别和手势识别，则要求低功耗并能即时响应。这些新应用就需要市场提供新的处理器IP，来设计研发出新的SoC或处理器。”Mike表示。
虽然视觉算法可以在大多数处理器上运行，但是这类算法牵涉到许多的复杂数学运算和数据迁移。通用处理器(GPP)可以用来做视觉处理，但是这样的处理器缺少复杂数学运算资源，运行起来速度会非常慢。在一些视觉应用中，采用的图形处理器(GPU)虽然具有许多的运算资源，但是却缺乏高效移动视觉数据的能力，因此其视觉性能相对较低，并且其功耗也非常的高。视觉处理器是专为视觉处理而设计，因此它们拥有所需的复杂数学运算能力，并且它们还具有精密的数据迁移能力，能够有效地处理视觉帧数据。此外，要能够在嵌入式视觉应用中得到使用，它们也需要满足低功耗要求。DesignWare EV处理器的高运算处理能力、优异的视觉数据迁移性能和非常低的功耗，使其成为了在SoC当中实现视觉处理的极佳选择。
EV处理器实现原理有何不同?
DesignWare嵌入式视觉处理器系列分为EV52和EV54两个产品，内部有2或4个高性能RISC CPU内核和2到8个PE(处理单元)内核。多个可并行独立运算的PE可运行卷积神经网络(CNN)等算法，快速进行目标检测(如面部识别、面部跟踪、手势识别和汽车ADAS系统的限速或道路识别等)，支持5级流水线，并且可编程和可动态配置。所有的RISC CPU和PE通过共享内存和DMA进行连接。
图3：DesignWare嵌入式视觉处理器内部有2或4个高性能RISC CPU和2到8个PE、最多12个内核。
那么，EV52和EV54之间有哪些不同?Mike介绍，EV52具有一个工作频率高达1GHz的28nm双核ARC处理器，而EV54带有一个性能较EV52更高的四核ARC处理器实现。两者都具有一个可编程的目标监测引擎，该引擎可配置并能以较竞争性解决方案低5倍的功耗等级提供快速、精确的目标监测。目标监测引擎运行一个CNN可执行文件，并由2、4或8个处理单元(PE)组成。PE的个数由用户在构建时配置，PE之间的流互连网络也是如此。该互连网络在所有的PE之间具有灵活的点到点连接，可根据目标监测引擎上执行的CNN图形动态改变。
EV处理器以超过1000GOPS/W的性能实现了卷积神经网络(CNN)，从而能够仅以其他视觉解决方案的一小部分功耗，实现对诸如面部、行人和手势等多样化的目标快速而准确的监测。为了加速应用软件开发，EV处理器系列得到了基于OpenCV和OpenVX等等现有和新兴的嵌入式视觉标准，以及Synopsys的MetaWare开发工具包的综合性软件编程环境的支持。通过把专为视觉数据处理而优化的高性能硬件与高效编程工具结合在一起，EV处理器成为了各种嵌入式视觉应用的一种理想解决方案，包括视频监控、手势识别和目标监测等应用。
图4：EV处理器的目标市场包括安防、手势识别以及目标检测和分类。
EV处理器识别精度比服务器还能更高?
“Synopsys从2012年开发DesignWare嵌入式视觉处理器开始，其识别率就达到了85%。如果通过更好的CNN模型和不断培训，准确率还可以更高。”Mike介绍说，“2015年微软和谷歌的CNN视觉识别精度是95%，但那是通过服务器云处理实现的。如果经过更多的CNN培训，我们的解决方案的精度甚至可能更高。它就像是人的眼睛和大脑，刚开始看到一样东西时，你可能会认不出来，但如果你天天都去看，识别的准确率就会很高。”
EV处理器系列包含多个高性能处理内核，可在典型的28nm工艺技术中实现高达1GHz的运行速率。EV处理器系列也实现了一种前馈卷积神经网络(CNN)结构，它支持一个可编程的点对点串流互连网络，以用于快速和准确的目标监测这一视觉处理的关键任务。执行单元处理器的数量可配置，开发人员能够在视觉应用中利用通用的任务级和数据级并行处理功能，去执行复杂的图像和视频识别算法，同时仅消耗市场上其它可用视觉处理器五分之一的功耗。
EV处理器专为无缝集成到SoC中而设计。其可与任何主处理器搭配使用和并行工作。EV系列通过信息传递和中断来支持与主处理器的同步。此外，EV处理器的内存可映射到主处理器。这些特点使得主处理器能够保持控制，同时使所有的视觉处理都能够被卸载到EV处理器上，这样可降低功耗并且加速结果呈现。EV处理器可以存取储存在SoC内存映射区域内的数据，或在需要的情况下，通过ARM AMBA AXIT标准系统接口独立地存取芯片外数据源提供的图像数据。
什么是卷积神经网络(CNN)?
卷积神经网络(CNN)模拟我们大脑处理视觉时的工作状态。它们将图像分解成若干部分，并逐步找到其被训练去识别的目标。CNN已经存在了20多年，但直到近年这些算法才有了实质上的改进，并且目前在目标识别方面较其他可用算法甚至是人类专家更好。CNN是一种深度学习算法，其训练方式与我们的大脑采用目标的多幅图像来进行训练差不多，它基于这些图像归纳出能够被算法利用、用以在图片或视频中找到目标的一幅图形。
Nvidia、CEVA、Microsoft以及其他公司近期的发布强调了嵌入式视觉向CNN的迁移。其实，Microsoft和Google最近都已在高端应用中采用了CNN，其所得的精度超过了95%，较人类专家还要更高。CNN目前是获取高质量和高精度结果的最佳视觉算法，其性能比Viola-Jones、HOG、SIFT和SURF等其他算法更胜一筹。
嵌入式视觉处理器解决方案的编程环境
在开发方面，Synopsys提供了一个完整的、包括OpenVX和OpenCV库、以及Synopsys的MetaWare开发工具包的软件编程环境，简化了Synopsys EV处理器系列的应用软件开发。
这些处理器都是可编程的，同时可以被训练从而支持任何监测目标图形。OpenVX框架包括43个标准计算机视觉内核，它们已专为运行在EV处理器上而进行了诸如边缘监测、图像金字塔创建和光流估计等优化。用户也可定义新的OpenVX内核，为其目前的视觉应用带来灵活性，同时满足未来目标监测的需求。OpenVX内核可以在运行时分配给EV处理器的多个单元执行，从而简化了处理器的编程。完整的工具套件和源程序库、以及可提供的参考设计使得设计人员能够高效的构建、调试、评估和优化其嵌入式视觉系统。
OpenCV(一个开源计算机视觉库)是一种可与MetaWare一起使用的、包含2500个函数的软件库，它为嵌入式视觉应用提供了一个软件架构。OpenCV可用于监测和识别目标，以及一系列完整的机器视觉功能。
OpenVX是一种针对嵌入式视觉算法加速的开源标准。DesignWare EV嵌入式视觉处理器由OpenVX框架和43种主内核提供支持。对于DesignWare EV嵌入式视觉处理器而言，已可提供用于人脸监测、速度标志监测和人脸跟踪的内核。用户也可以创建其专有内核用于DesignWare EV处理器。
OpenCV和OpenVX互为补充，并能够同时用于视觉应用中。