Arm全新智能视觉参考设计助力中国厂商抢占先机

　　随着人工智能、物联网等技术的持续不断的发展，它们所具备的功能也慢慢变得多、越来越先进。而这些发展的基础则是智能视觉。如果说眼睛是人类心灵的窗户，那智能视觉将是未来人工智能及物联网等前沿技术的“慧眼”，它也将成为未来边缘设备等的普世能力。

　　尤其，随着ChatGPT的风靡，大模型让原本专属于人类的感知、思考和行动能力逐渐向机器转移。而这一现象将加速科技的下一个拐点的到来，那就是以机器人和无人驾驶等技术为代表的行动无处不在的时代。而在这一新时代，智能视觉也必不可少。

　　Arm物联网事业部业务拓展副总裁马健表示：“因为机器系统一定要通过视觉等感官理解周围环境，做出相应的决策和行动，视觉信息为无人驾驶和机器人提供了关键的安全和避障能力，这是生死攸关问题。”

　　智能视觉系统正在朝着以下几个方面的技术趋势发展。首先是云、边、端的协同，由于视频数据巨大的数据量以及诸如无人驾驶等应用的实时性要求决定了智能视觉系统要能够将计算和决策任务分布在云、边和终端设备上，并实现协同工作。

　　其次是AI加持，未来的智能视觉系统将继续依赖深度学习模型和神经网络，提高图像的分析和识别能力，并利用强化学习和自主自适应学习，使系统能够从环境中不断学习和改进，并适应新的场景和任务。

　　第三就是算力支持，由于复杂的模型和算法，大规模的图像数据处理实时性、高精度、高并发等要求，智能视觉系统要提供越来越强大的计算资源和算力支持。智能视觉系统的广泛应用也引发了对隐私和安全性的关注，未来的趋势是采用加密、匿名化等技术方法保护用户的隐私，同时也加强系统的安全性，防止被恶意攻击和滥用。

　　而智能视觉芯片架构在过去几年也经历了一系列的演进，从功能固定难以编程的DSP和ASK，到通用性强易编程的CPU架构，到现在最先进的综合CPU、ISP图像处理器、NPU AI加速器，VPU视频编解码器、GPU图形处理器的异构SoC片上系统，已经逐步实现低功耗、高性能和高度集成的特点。适用于资源受限的边缘设备，比如智能手机、摄像头、XR，机器人和物联网设备等，为智能视觉成为一种普世的能力奠定基础。

　　针对智能视觉未来的庞大需求，Arm近期携手安谋科技推出了一款智能视觉参考设计。据马健介绍，该方案的硬件参考设计包括了CPU、ISP、NPU和VPU处理器选项以及将这些元件粘合在一起的子系统IP。值得一提的是，这也是Arm的IP与安谋科技的IP首次结合在一起，并由安谋科技预先集成和预先验证。

　　该款参考设计中的CPU采用的是Arm Corstone-1000 和 Corstone-300。Corstone-1000是首款为Cortex-A设计的子系统，该方案基本配置是经过量产考验的Cortex-A35或Cortex-A53。而Corstone-300则在智能视觉参考设计中，作为低功耗待机子系统，降低边缘设备的功耗，提高系统效率。ISP选用的是Arm在去年六月发布的Mali-C55，其也是Arm迄今为止面积最小、功耗最低、且可配置性最高的ISP产品。

　　而参考设计中的VPU和NPU则是来自于安谋科技自研的“玲珑”VPU和“周易”NPU。

　　马健表示，Arm的这款智能视觉参考设计非常与众不同，一是因为它采用成熟的Arm CPU IP作为基础，Arm CPU在智能摄像头领域已占有九成以上份额，已经应用于诸多智能视觉品牌设备，形成了强大的软件生态系统。

　　另外，该设计带有低功耗待机子系统，能支持电池供电的视觉设备。安谋科技的玲珑VPU提供了紧凑、多格式和高效的视频编解码器，以及周易NPU的高达4个TOPS的ML加速，使该参考设计能支持机器视觉的用例。

　　此外，在发布智能视觉参考设计的同时，Arm也宣布了“Arm智能视觉合作伙伴计划”，将携手AI视觉、芯片设计、软件、算法、系统集成等合作伙伴共同打造基于Arm架构的智能视觉应用的强大生态。

　　据马健介绍，Arm的这款智能视觉参考设计目前只面向中国市场。她表示，中国作为人口大国，快速的城市化，从制造到零售等行业的自动化程度逐步的提升，以及机器学习和物联网的重大技术突破，使中国对视觉设备的需求和在视觉技术方面的创新都稳步增长。

　　另外，我们也听到很多来自中国Arm合作伙伴的反馈，他们一致认为中国很多的IPC视觉系统已确定进入红海市场。在中国这个竞争很激烈的市场中，视觉系统的设计者和制造商都一定要能把自己最新的想法、自己的差异化尽快地达到量产的水平，推向市场。怎么样才可以让合作伙伴能够聚焦于他们的差异化，而不是去做很多重复性的基础IP整合工作、基础软件的开发工作，这实际上的意思就是Arm和安谋科技携手合作推出Arm智能视觉参考设计的初衷。

　　最后，马健总结道，随着AI和大模型一日千里的发展，智能视觉技术将继续在所有垂直行业得到更广泛的应用，视觉将无处不在。在视觉成为一种普世能力的趋势下，预先集成、预先验证的标准化子系统会为加速视觉产品设计和创新提供坚实的基础。