Arm推出全新图像处理器Mali-C78AE 用于驾驶员辅助和自动化

随着车载摄像头数量和复杂性的增加，以及机器和人类视觉对输出的要求不尽相同，高效且安全地转换图像数据需要更高的计算能力。为了在ADAS和自动驾驶中启用新功能，汽车行业将需要一种新的图像处理方法。
据外媒报道，Arm宣布推出全新车用影像讯号处理器Arm® Mali™-C78AE ISP，以进一步补充其专为满足车用效能与安全需求开发的IP产品。新增的Mali-C78AE搭配Cortex®-A78AE与Mali-G78AE，可提供先进驾驶辅助系统（ADAS）完整的视觉信息处理管线，以优化效能、降低功耗，并提供一致的方法达成功能性安全的要求，从而推动ADAS功能在市场的应用。

（图片来源：Arm）

Arm车用与物联网事业部副总裁Chet Babla表示：“Mali-C78AE满足业界对于全新图像处理方式的需求，并可助力实现ADAS与自动驾驶的全新功能。”

安全是人类与机器视觉最关键的部分
ADAS功能使用多个摄像头来支持各种人类和机器视觉应用。例如，环视系统使用来自车辆周围摄像头的数据，并以视觉方式向驾驶员显示信息，以帮助他们在停车时做出决策。另一方面，自适应巡航控制直接使用摄像头数据来解释环境，并做出独立于驾驶员的车辆控制决策，例如踩油门或刹车。Mali-C78AE专为各种人类和机器视觉安全应用设计，最高可处理来自实时4台摄像头或16台虚拟摄像头的数据。
开发初期，Mali-C78AE就具备硬件安全机制与软件诊断功能，因此系统设计人员可使产品设计满足ISO 26262 ASIL B功能性安全的要求。Mali-C78AE旨在预防或检测单个相机帧中可能导致帧数据处理不正确的故障。为此，该ISP具备380多个故障检测线路，持续内建自我检测，并可检测连接摄影头中的传感器及硬件的故障。

视觉需要大量数据，工作负载量极高
对安全和用户体验同样重要的是处理速度，这是Mali-C78AE的关键要素。在传感器处获取图像、通过ISP然后通过GPU处理，并将其显示在屏幕上供驾驶员使用，共需要150毫秒；例如，在使用停车辅助系统时，驾驶员会很容易发现影像延迟现象。在机器视觉应用中，车辆在获取摄像头图像和将其呈现给决策处理过程中，车辆得移动距应不超过250毫米；若超过该距离，代表机器视觉系统反应速度过慢，无法满足驾驶环境所需的精确与实时的决定要求。
为了使驾驶员和机器能够做出最佳决策，ADAS摄像头必须从每一帧中收集最相关的信息。Mali-C78AE采用先进的降噪技术和动态范围管理，通过调整画面过暗或过亮的区域，确保每一帧画面清晰且曝光适当。Mali-C78A可实时处理多达四台高分辨率、高帧率摄像头的数据，从而显著降低内存、通信和处理要求，从而提高系统效率。
如今，要实现多个ADAS功能，需要单独的摄像头设置，因为用于机器视觉应用的摄像头（例如车道偏离警告）不会产生适合人类视觉的图像（如环景影像）。为了降低实现多个ADAS功能的成本，Mali-C78AE通过缩小和颜色转换为机器视觉优化的传感器输出，以创建适合肉眼的图像，从而使摄像头传感器具有双重用途。通过避免摄像头及其相关电子设备和布线的重复，OEM可以节省成本并降低复杂性，因此可以在各种车型中更广泛地部署基于摄像头的ADAS功能，从而为驾驶员提供更安全、更好的用户体验。

为ADAS提供强大的视觉处理管线，并获业界先驱采用
Mali-C78AE是ADAS系统所需专业处理的重要元素。结合Cortex-A78AE和Mali-G78AE，Mali-C78AE的加入可提供完整的ADAS视觉管道，以优化性能、最小化功耗并提供一致的功能安全方法。
汽车视觉安全技术先驱Mobileye，率先在其下一代EyeQ技术中采用全新的Mali-C78AE ISP。当Mobileye开始着手开发Mobileye EyeQ Ultra与EyeQ6H时，便选择采用Mali-C78AE高效处理影像数据，并藉由搭配Mali-G78AE GPU，实现兼具安全性、流畅性、实时性与直觉性的图形渲染功能，从而满足严苛的车用要求。
Mobileye工程执行副总裁Elchanan Rushinek表示：“针对环景可视化功能，我们结合并使用Arm的ISP与GPU技术，可提供集中式的运算解决方案，藉由单颗系统单芯片，以提供最先进的ADAS与停车辅助系统。”