在5G商用大潮的推动下，边缘计算(edge computing)开始受到重视，人工智能在端侧的应用也逐渐展开。近日，Imagination公司在时隔两年之后，推出新一代神经网络加速器(NNA)产品IMG Series4系列。该产品系列在前代Series2NX、Series3NX的基础上进行了架构创新，可实现500 TOPS(每秒万亿次操作)甚至更高的算力。在发布会上，Imagination Technologies视觉和人工智能部门高级总监Andrew Grant表示，Series4 NNA将主要面向先进驾驶辅助系统(ADAS)和自动驾驶应用，可为大型神经网络工作负载提供低带宽和极低的延迟。

500TOPS，Series4实现高性能、低功耗

人工智能芯片首先在云端服务器市场得到应用，目前在5G商用大潮的推动下，边缘计算开始受到重视。5G网络定义三大应用场景：eMBB(增强型移动宽带)、mMTC(海量机器类通信)、uRLLC(超可靠、低时延通信)。强调高带宽、低延时和海量设备连接是5G时代信息通信的主要特征。特别是今年7月R16版本宣布冻结，面向车联网应用，支持了V2V(车与车)和V2I(车与路边单元)直连通信，为ADAS以及自动驾驶打开了上升通道。神经网络也开始用于自动驾驶汽车系统当中，如帮助避免碰撞事故的发生等。当然神经网络越大，需要的计算量就越大，这就需要更高水平的性能支持。

Andrew Grant指出，随着5G时代的到来，边缘计算逐渐将智能化处理从云端转向边缘。汽车的智能化趋势越来越明显，数字驾舱、人机界面、先进驾驶辅助系统被越来越多地应用于汽车当中，传感器也与多入多出(MIMO)等通信方式相融合，增加了复杂性。这些都要求汽车拥有更强的处理能力和控制能力。

根据Imagination的估算，如果执行ADAS的车道偏离检测需要10 GFLOPS的算力，那么执行行人预测可能需要500GFLOPS的算力。在自动驾驶方面，如果处于Levels2+级别的驾驶员监测、语音/手势控制需要10 TOPS算力，那么Level5的功能势必需要500TOPS以上的算力才能支持。更高的性能、更低的延时和更好的安全性是未来汽车发展的主要趋势。

针对人工智能在汽车领域的应用发展，Imagination公司时隔两年之后，于近日推出其新一代神经网络加速器产品IMG Series4系列。根据Andrew Grant的介绍，Series4 NNA在前代产品的基础上进行了架构创新，实现了高度灵活的多核化扩展，可支持2核，4核，6核，或者8核的多核集群方案。每个单核可以独立处理各自的任务;或者所有单核一起并行处理同一个任务;或者这些单核以指定方式分组，每组并行处理一个任务。

在低功耗的情况下实现高性能是当前边缘AI的需求。Andrew Grant认为，在这一点上Imagination公司具有先天的优势。Series4的每个单核能够以不到一瓦的功耗提供12.5 TOPS的性能。这样，在一个8核集群上就可以提供超过100TOPS的算力。那么，如果配有5个8核集群的解决方案就可以提供500 TOPS的算力。

低延迟、高可靠是自动驾驶技术实现的基本条件之一。为了构建更加安全的交通环境，自动驾驶必须进入“毫秒必争”的时代，这对数据处理能力也提出更高的要求。Series4依托多核的可扩展能力，将多个单核组成2核、4核、6核或8核的多核集群，所有单核可以相互协作，并行处理一个任务，降低处理延迟，缩短响应时间。对于一个8核集群，理想情况下任务并行执行的延迟会减少为单核独立执行时的1/8。

应用范围可扩展，从汽车电子到数据中心

处理神经网络工作负载的一个共同挑战是大量的DDR访问，这就意味着更高的带宽消耗、更多的功耗。对于边缘处理器来说并不适合。为了解决这个问题，Imagination公司利用了其在移动领域的丰富经验，在Series4中采用了Tensor Tiling技术，大大降低对带宽的要求。

Imagination Technologies产品管理部门总监Gilberto Rodriguez介绍，Tensor Tiling技术(Imagination’s Tensor Tiling，ITT)是一项正在申请专利的技术，也是Series4中新增的功能。它可以通过对计算任务进行tiling，充分利用片上存储，提升数据处理效率，并节省访问外部存储的带宽。ITT通过任务分割，减少每个子任务中间数据的尺寸，从而能够将中间数据保存在片上存储器中，这样可以最大限度地减少将数据传输至外部存储器，从而将带宽降低多达90%。ITT是一种可扩展的算法，在拥有大量输入数据的网络上具有显著优势。

Series4还包含IP级别的安全功能(functional safety)设计，且设计流程符合ISO 26262标准，可以帮助客户获得ISO 26262认证。ISO 26262是旨在解决汽车电子产品风险的行业安全标准。Series4可以在不影响性能的情况下，安全地进行神经网络推理。硬件安全机制可以保护编译后的网络、网络的执行和数据处理管道。

边缘计算的重要性在5G时代将不断凸显出来。Gartner的分析报告显示，目前，大约10%的企业生成数据是在传统的集中式数据中心或云之外创建和处理的。到2022年，Gartner预测这一数字将增长到50%。在未来，势必需要更多的依靠边缘设备自身的算力解决业务场景里AI推理的计算需求。

尽管神经网络推理可以在CPU上运行，同时人们也经常会采用GPU。然而为了在严格的功耗要求下满足下一代性能要求，专用的神经网络加速硬件也越来越广泛地被采用。Imagination公司推出的Series4，在多核架构的情况下，实现了高性能、低功耗以及更好的安全性能。尽管目标市场在自动驾驶等汽车市场，但Imagination也表示，Series4亦将用于数据中心、PC等领域。随着人们对数据处理需求的增长，神经网络专用芯片的应用将逐步扩展。