Mali-C78AE图像信号处理器(ISP)是Arm带功能安全的“AE”产品系列的新成员，该处理器IP适用于高级驾驶辅助系统(ADAS)和人类视觉应用
Mali-C78AE搭配Cortex-A78AE CPU和Mali-G78AE GPU可提供卓越的ADAS图像数据处理流水线
Mobileye率先授权采用Mali-C78AE，并搭配Mali-G78AE，将其应用于新一代EyeQ技术
Arm宣布推出Arm®Mali™-C78AE ISP，为其专为
汽车应用的性能和安全而设计的IP产品组合再添新成员。搭配Cortex®-A78AE与Mali-G78AE的Mali-C78AE，可提供完整的ADAS图像数据处理流水线，能够优化性能、最大限度地降低功耗，并提供一致的方法来实现功能安全，从而驱动ADAS在下一阶段的量产导入。
根据调研机构Strategy Analytics近期的一份报告显示，从2020年到2025年，汽车摄像头市场总值的增长预计将达19%以上，使其成为可为车辆提供对周围环境做出决策所需的数据的最重要
传感器类型。
Arm汽车和物联网事业部副总裁Chet Babla表示：“随着车载摄像头数量和精密程度的增加，将高吞吐量的图像数据高效、安全地转换为满足机器和人类视觉不同要求的输出的算力也需要相应提升。Mali-C78AE满足业界对于图像处理新方法的需求，有助于实现ADAS和自动驾驶的新功能。”
人类和机器视觉要求安全第一
Mali-C78AE专为各种ADAS功能所需的人类和机器视觉安全应用而设计，并且能够处理来自多达4个实时摄像头或16个虚拟摄像头的数据。
Mali-C78AE从开发之初就具备硬件安全机制和软件诊断功能，使系统设计人员能够满足ISO 26262 ASIL B功能安全的要求。Mali-C78AE旨在防止或检测出单个摄像头帧中可能导致帧数据处理错误的故障。为此，该ISP具有380多个故障检测电路，持续内置自检，并可检测所连摄像头的传感器和硬件故障。
视觉处理需要大量数据，且工作负载要求高
处理速度是Mali-C78AE的一大关键要素，其重要性不亚于安全性和用户体验。例如，从传感器获取图像，先后通过ISP和GPU进行处理，然后将其显示在屏幕上供驾驶员查看，整个过程应于150毫秒内完成；如果该过程耗时超过150毫秒，驾驶员会在使用停车辅助系统等功能时觉察到图像的延迟。而在机器视觉应用中，从获取摄像头图像到决策处理的整个过程，车辆移动距离不宜超过250毫米；若超过这个距离，则意味着机器视觉系统反应太慢，无法满足应对驾驶环境所需的准确且及时的决策要求。
为了使驾驶员和机器能够做出最佳决策，ADAS摄像头必须从每一帧中收集最相关的信息。Mali-C78AE采用先进的降噪技术和动态范围管理，通过调整画面过暗或过亮的区域，确保每帧画面都画质清晰且曝光适当。Mali-C78AE能够实时处理多达4个高分辨率、高帧率的摄像头数据，显著降低内存、通信和处理要求，进而提高系统效率。
图1：未使用Arm ISP技术 图2：使用Arm ISP技术
通过调整画面过暗或过亮的区域，Mali-C78AE确保每帧画面都画质清晰且曝光适当（如图2）
目前，要实现多种ADAS功能，需要单独的摄像头设置，因为用于机器视觉应用的摄像头（例如车道偏离警告）不会产生适合人类视觉的图像，例如环视。为了降低实现多种ADAS功能的成本，Mali-C78AE通过对适用于机器视觉的传感器输出进行缩小和颜色转换，使得摄像头传感器可实现双重用途，从而创建适合人眼的图像。通过避免摄像头及其相关电子器件和线束的重复部署，OEM可节省成本并降低复杂性，从而在各种车型中更广泛地部署基于摄像头的ADAS功能，为驾驶员提供更安全、更优质的用户体验。
行业先锋采用强大的ADAS图像数据处理流水线
作为汽车视觉安全技术领域的先锋，Mobileye在其新一代EyeQ技术中率先采用了全新的Mali-C78AE ISP。Mobileye在开发Mobileye EyeQ Ultra和EyeQ6H之初，就选择了Mali-C78AE进行高效的图像数据处理，并通过搭配Mali-G78AE GPU，实现了安全、流畅、实时且直观的图形渲染功能，以满足严苛的车用需求。
Mobileye工程执行副总裁Elchanan Rushinek表示：“通过将Arm ISP和GPU技术相结合以实现全景可视化功能，我们可以提供集中式的计算解决方案，通过单颗SoC实现最先进的ADAS和停车辅助系统。”