视觉算法-软件-芯片-电驱技术

视觉算法-软件-芯片-电驱技术
参考文献链接
https://mp.weixin.qq.com/s/vabcv7fKNkVI3xNA7rdTiw
https://mp.weixin.qq.com/s/xIEFeavU4Pi7b0vwBaW6GA
https://mp.weixin.qq.com/s/jvSo3mnkgzOxmFHj8nBoyQ
https://mp.weixin.qq.com/s/Qxyb5lSWmVtxrNoDCOVRQg
https://mp.weixin.qq.com/s/xhyAdjjIzdPFsqhbxuVUHQ
https://mp.weixin.qq.com/s/PFlhE5C5fbOnokMLQbO1Rg
自动驾驶汽车集中式传感器融合
现如今，大多数自动驾驶汽车都依靠传感器融合，即将毫米波雷达、激光雷达和摄像头的多传感器数据以一定的准则进行分析和综合来收集环境信息。正如自动驾驶汽车行业巨头们所证明的那样，多传感器融合提高了自动驾驶汽车系统的性能，让车辆出行更安全。
但并非所有的传感器融合都会产生相同的效果。虽然许多自动驾驶汽车制造商依靠 "目标级"的传感器融合，但只有集中式传感器前融合才能为自动驾驶系统提供最佳驾驶决策所需的信息。
接下来我们将进一步解释目标级融合和集中式传感器前融合之间的区别，以及解释证明集中式前融合不可或缺的原因。

集中式传感器前融合保留了原始传感器数据可做出更精确的决策。
自动驾驶系统通常依靠一套专门的传感器来收集关于其环境的底层原始数据。每种类型的传感器都有优势和劣势，如图所示。

融合了毫米波雷达、激光雷达和摄像头多传感器后可最大限度地提升所收集数据的质量和数量，从而生成完整的环境图像。
多传感器融合，相对于传感器单独处理的优势已经被自动驾驶汽车制造商普遍接受，但这种融合的方式通常发生在 “目标级”的后处理阶段。在这种模式下，物体数据的收集、处理、融合和分类都发生在传感器层面。然而，数据综合处理前，单个传感器通过对信息的预先分别过滤，使得对自动驾驶决策所需的背景信息也几乎都被剔除了，这使得目标级融合很难满足未来的自动驾驶算法的需要。
集中式传感器前融合则很好地规避了此类风险。毫米波雷达、激光雷达和摄像头传感器将底层原始数据发送到车辆中央域控制器进行处理。这种方法最大限度地提高了自动驾驶系统获取的信息量，使得算法能够获取全部的有价值的信息，从而能够实现比目标级融合提供更好的决策。

AI增强型毫米波雷达通过集中化处理大幅提升自动驾驶系统的性能

如今，自动驾驶系统已经集中式处理摄像头数据。但当涉及到毫米波雷达数据时，集中化处理仍然是不现实的。高性能的毫米波雷达通常需要数百个天线通道，这就大幅增加了产生的数据量。因此，本地处理就成了一个更具性价比的选择。
然而，安霸的 AI 增强的毫米波雷达感知算法在不需要额外物理天线的情况下，可以提高雷达角分辨率和性能。来自较少信道的原始雷达数据可以通过使用标准汽车以太网等接口，以较低的成本传送到中央处理器。当自动驾驶系统将原始的 AI 增强雷达数据与原始摄像头数据相融合时，它们就能充分利用这两种互补的传感方式来建立一个完整的环境图像，使融合后的结果更加全面，超越任何单一传感器所获得的信息。
毫米波雷达的更新迭代有助于降低成本，也大幅地提高自动驾驶系统的性能。传统的低成本雷达量产时，每个毫米波雷达的价格可以低于 50 美元，比激光雷达的目标成本低一个数量级。与无处不在的低成本摄像头传感器相结合，AI 雷达提供了可接受的精确度，这对大规模商业化的自动驾驶汽车量产至关重要。而激光雷达传感器与运行 AI 算法的摄像头/毫米波雷达感知融合系统相重叠，如果激光雷达的成本逐渐下降，将可作为摄像头 + 毫米波雷达在 L4/L5 自动驾驶系统中的安全冗余。

算法优先的中央处理架构深化传感器融合以优化自动驾驶系统性能
现行的目标级传感器融合有一定局限性。这是因为前端传感器都带有本地处理器，从而限制了每个智能传感器的尺寸、功耗和资源分布，从而进一步限制了整个自动驾驶系统的性能。此外，大量数据处理会快速耗尽车辆的动力并缩短其行驶里程。
相反，算法优先的中央处理架构实现了我们称之为深度、集中式的传感器前融合。该技术利用最先进的半导体工艺节点优化了自动驾驶系统的性能，这主要是因为该技术在所有传感器上动态分布的处理能力，以及能根据驾驶场景提升不同传感器和数据动向的性能。通过获取高质量、底层原始数据，中央处理器可以做出更智能、更准确的驾驶决策。
自动驾驶汽车制造商可以使用低功耗毫米波雷达和摄像头传感器，并结合尖端的算法优先的特定应用处理器，如安霸最近宣布的 5 纳米制程 CV3 AI 大算力域控制芯片，具备最佳感知和路径规划性能、具有最高的能效比，显著增加每辆自动驾驶汽车行驶里程的同时，降低电池消耗。

不要抛弃传感器——投资于它们的融合
自动驾驶系统需要多样化的数据才能做出正确的驾驶决策，只有深度、集中式的传感器融合才能提供最佳自动驾驶系统的性能和安全所需的广泛数据。在我们的理想模型中…
 低功耗、AI 增强的毫米波雷达和摄像头传感器在本地与自动驾驶汽车外围的嵌入式处理器相连。
 嵌入式处理器将原始检测级对象数据发送到中央域SoC。
 使用 AI、中央域处理器分析组合的数据以识别物体，做出驾驶决策。
集中式传感器前融合可以改进现有的高层级融合架构，让使用传感器融合的自动驾驶汽车强大而可靠。为了获得这些好处，自动驾驶汽车制造商必须投资算法优先的中央处理器，以及支持 AI 的毫米波雷达和摄像头传感器。通过多方努力，AI 制造商可以迎来下一阶段的自动驾驶汽车发展的技术变革。
大算力域控芯片
2022 年 8 月10-12 日，由焉知汽车科技主办的第二届“焉知智车年会”在苏州金科大酒店隆重举行。本届年会为期 3 天，设有 11 个分论坛，得到了近百位行业专家的鼎力支持，吸引了 2000 多人注册，到场听众 800 余人。
会议第一天上午，首届“知鼎奖”惊艳亮相，旨在表彰年度创新科技或商业模式对促进智能汽车新四化有序、健康、快速发展有突出贡献的企业。“知鼎奖”得到了陈清泉院士和业内 60 位专家评委的大力支持，经过层层评选，最终评选出了 38 个年度大奖。
在“焉知智车年会”上，安霸半导体技术（上海）有限公司软件研发高级总监孙鲁毅在“大算力智能域控芯片的实力派”的演讲中分享了安霸的“算法优先”策略和全面赋能汽车应用的芯片系列，以及年初安霸重磅推出的 CV3 最新大算力汽车域控芯片的最新进展。
“中国智能汽车进入快速发展期，智能辅助驾驶配置率开始快速迭代，多种发展路径并存，产生对多样化的智能芯片需求，市场需要高性能、高可靠、低功耗、高性价比、易于开发软件的芯片。”
自动驾驶面对的问题很多，如复杂的道路场景、复杂的天气和周边环境；需要更智能、更准确的算法，满足安全要求，还需要应对传感器失效。
对于域控系统，更高像素的图像传感器、更高性能的毫米波雷达和激光雷达、更好的融合算法、更低的计算延迟、更完善的功能安全设计，同时支持算法不断升级迭代和算力预埋，对域控芯片提出了更高的要求。其中大算力，特别是低延迟计算，及支持各种常见 AI 算法、工具链易用、低功耗、功能安全、技术支持到位……都成为不可或缺的必要条件。
安霸的最新大算力汽车域控芯片 CV3 采用 5nm 低功耗先进制程，由单一芯片集成多传感器实现集中化 Al 感知处理（包括高像素视觉处理、毫米波雷达、激光雷达和超声波雷达）、多传感器深度融合以及自动驾驶车辆规控。凭借一整套成熟的软件工具和强大的 SDK，CV3 有助于车企和 Tier 1 实现 ADAS 系统和 L2+ 至 L4 级自动驾驶产品全覆盖。
凭借全新的 CVFlow 架构设计，CV3 运行各种神经网络算法的性能是目前行业里最强域控大算力芯片的 3~6 倍，并且功耗不到他们的一半。这些性能指标将陆续在给客户的演示中证实。
此外，安霸去年收购了 4D 毫米波雷达算法公司“傲酷”。在同样 4D 毫米波雷达硬件平台，如采用傲酷雷达算法，可以大幅提高点云密度和角度分辨率准确度。CV3 增加了处理 4D 毫米波雷达的硬件，使得 4D 毫米波雷达的处理性能得到指数级的提升。
今天，为加速推进自动驾驶技术发展，新一代AI技术和算法不断加持，大算力、支持多传感器融合的芯片平台已成为竞争决胜的关键因素之一。而在分布式电子电气架构升级到域集中架构的演进中，大算力智能域控芯片将扮演越来越重要的角色。安霸CV3作为行业的新兴势力，将会在安霸中国的本地工程研发支持下，为中国客户带来高性能、高可靠的大算力域控芯片的最优选择。
安霸的产品广泛应用于人工智能计算机视觉、视频图像处理、视频录制等领域，包括视频安防、高级驾驶辅助系统（ADAS）、电子后视镜、行车记录仪、驾驶员及舱内智能监控、智能汽车无人驾驶和机器人应用等。安霸的高性能、低功耗AI处理器提供超高清图像处理、视频压缩及强大的神经网络处理，能够从高分辨率视频和雷达信息中提取有价值的数据，在智能感知、传感器融合和中央域控处理系统等领域大显身手。
自动驾驶领导者嬴彻科技交付 L3 级自动驾驶方案
嬴彻科技在其车规级中央计算平台中采用安霸边缘 AI 芯片
2022 年 6 月 22 日，美国加利福尼亚州圣克拉拉市，Ambarella（下称“安霸”，纳斯达克股票代码：AMBA，专注于 AI 视觉感知芯片的半导体公司），与 Inceptio Technology（下称“嬴彻科技”，专注自动驾驶技术和运营的科技公司）达成合作，嬴彻科技在其车规级中央计算平台里采用安霸 AI 芯片 CV2FS 和 CV2AQ（共四颗 CVflow® SoC），并已前装量产。该平台是嬴彻科技全栈自研的卡车自动驾驶系统“轩辕”的核心，其中安霸的 SoC 在此平台上为 7 个 800 万像素摄像头同时提供高性能和低功耗的 AI 视觉感知处理，用于前视及周视摄像头的 ADAS 等各类安全功能，如防碰撞等。
ABI Research 供应链管理和物流首席分析师 Susan Beardslee 表示：“截至 2021 年底，全球商用车（涵盖轻型到重型）注册量超过 2.23 亿辆。嬴彻科技采用安霸 CVflow AI 处理器，率先应用于由嬴彻及其合作主机厂联合开发的 L3 级自动驾驶重卡，为车辆提供商业化运营中不可或缺的领先防碰撞能力。我们预计，到 2030 年，全球 SAE L2-L4 级自动驾驶商用车的出货量将超过 420 万辆。” (引用1)
嬴彻科技执行副总裁黄刚表示：“我们选择安霸的芯片是看中其卓越的高清图像处理性能、超低功耗和高性能的 AI 处理能力，以及该公司强有力的合作和支持。得益于安霸 CV2 芯片的高效运行架构，我们先进的 3D 感知算法在安霸 CV2 芯片上运行，可将性能发挥到极致。嬴彻科技携手主机厂合作伙伴在 2021 年底实现 L3 级自动驾驶重卡前装量产，我们将持续迭代更新自动驾驶技术和产品，同时不断扩大合作主机厂的“朋友圈”以及更广泛的整车平台应用。我们非常高兴能与安霸一起合作，期待不久将来共同探索新的发展领域。”
安霸总裁兼 CEO 王奉民表示：“我们很荣幸能与嬴彻科技在 L3 自动驾驶重卡上一起合作，并帮助轩辕自动驾驶系统实现超过两百万公里的运行里程。我们的 CVflow 边缘 AI 芯片为嬴彻科技提供可支持先进的计算机视觉和神经网络算法的高性能 AI 处理，可在各种挑战性照明条件下获得最好清晰度的行业领先图像信号处理，以及满足嬴彻科技功耗要求的业界最佳能效比。”
已获得 ASIL-C 芯片功能安全认证的安霸 CV2FS 被部署用于执行防碰撞等安全应用，同时满足对功能安全有高要求的系统。此外，通过 AEC-Q100 (Grade2) 认证的安霸 CV2AQ 芯片也可用于执行图像分割与目标检测，包括交通标识和车道的检测等。
安霸边缘 AI 芯片 CV2FS 和 CV2AQ，以及搭载嬴彻“轩辕”系统的智能重卡已经开始交付客户。
电驱系统进化图鉴

电驱系统的全面进化不仅在于提高功率密度等物理性能，同时还影响着整车的智能化程度，新能源时代电气化的汽车在整车发展上有着更大的想象空间。
相较于燃油车，电动汽车优势明显，比如低碳环保、起步时更迅捷的动力响应，以及正常运行时更安静舒适的NVH等。
当然，众所周知电动汽车也还有很多问题没有解决，比如电池续航与自燃问题，比如补能问题，比如在高速工况下的高能耗，以及电动汽车普遍无法和燃油车媲美的最高速度。
而这其中的许多问题，都可以通过电驱系统的发展来弥补。
比亚迪汽车工程研究院的凌和平副院长认为，作为新能源汽车最核心的一个系统，电驱系统整个成本大约占到新能源汽车的10%。
新能源汽车的快速发展也带动了电驱产业的快速发展。去年，经初步测算电驱产业整个产值大概在300多亿，“今年翻番肯定基本上是板上钉钉的事情”，凌和平表示。
在8月8日于青岛召开的第十四届国际汽车变速器及驱动技术研讨会（TMC2022）上，多位专家就电驱系统发展的趋势进行了分享。

电驱系统包括电机、电机控制器和减速器等组件。
其中电机是整车的动力核心，通过电池提供的电能将其转换成动能，通过减速器、半轴驱动电动汽车行驶。
电机控制器是根据制动踏板和加速踏板的输入信号，发出相应的控制命令来控制电机的转速及转向，从而驱动电动汽车行驶。
减速器则是将电动机的高速运转通过齿轮传动变成低速大扭矩的装置，目前大部分电动汽车减速器都只有一档速比。
以下，我们先来看一下当前电驱系统的发展趋势。
01.电机性能全面提升
首先，从电机方面来看，扁线电机是近两年的发展趋势。凌和平表示，“去年基本有20%左右的电机都采用了扁线电机，今年扁线电机有望突破40%—50%，当然在未来可能百分之百都会是扁线电机，这是整个的发展趋势。”
目前市场上的新能源车主要用的都是永磁同步电机和异步电机，而国内永磁同步电机的装机量更是高达94%。其主要原因就是永磁同步电机低速性能好，转化效率高。
此前，永磁同步电机一直使用的是传统的圆线技术，而圆线电机在市区频繁启停的工况中是低效率运转的。
而且，圆线电机的槽满率偏低，仅有40%左右。槽满率指的是线圈放入槽内后占用槽内空间的比例。槽满率偏低意味着电机的功率密度偏低、重量偏大、电动车的动力也就偏弱。

扁线电机指的是导线横截面为扁平矩形的电机。

圆线之间存在空隙，扁线则更加紧密。将导线从圆线改为扁线后，槽满率可从40%提升到70%，电机转化效率提升1.12%。这意味着在低转速高扭矩的拥堵工况中，扁线电机的工作效率比圆线高出10%。

同时，槽满率的提升也代表着线圈中导线增多，产生的磁场会更强，从而进一步提升电机的功率以及整车的动力。
此外，为了实现电动汽车能像内燃机一样长时间输出高动力，用于持续爬坡及连续加速等场景，就需要电机的持续扭矩时间增长。
此时，目前的水冷冷却就不够充分，因而也催生了油冷需求。关于油冷技术在电机中的应用智驾网此前也写过一篇报道，参看《可以完全替代内燃机的电机出现了？》。
同时，油冷电机也能有效降低电机本身的体积和重量，因而这几年油冷电机的发展也非常迅速。
此外，扁线技术同样也能在一定程度上实现电机的轻量化和小型化，从而促进整体电驱系统的集成化。
02.从三合一到多合一
集成化也是电驱系统发展另一个大的趋势。
凌和平表示，从去年到今年，基本上整个行业都已经做到了三合一。三合一即指电机、电机控制器、减速器等部件的集成。电驱系统实现集成后，可省掉各部件之间的线束连接，减少电磁干扰，同时可明显缩小体积，使车辆内部空间布局更灵活。
同时，集成化后的电驱系统也更容易标准化和模块化，方便在整车上面布置。而且，集成化的电驱系统功率密度也更高。
去年，比亚迪又在其E 3.0平台推出八合一电驱系统。八合一指的是集成了电机、减速器、电机控制器、高低压直流转换器（DCDC）、双向车载充电器（OBC）、高压配电箱（PDU）、电池管理器（BMS）和整车控制器（VCU）八大模块。相较于三合一系统，八合一具有更高的功率密度，在整体重量和体积上也能实现更进一步的压缩。

此外，长安也于2020年提出了多合一的超集电驱第三代。中国工程院院士，香港大学教授陈清泉表示，采用超集技术，可使工况效率提升5%，加之采用高效的功率器件、油冷系统，可使工况效率超过90%，总成最高效率超过95%，单车10年30万公里排放较燃油车降低20吨。
03.电控系统的进化
在电控方面的发展则主要是第三代半导体碳化硅技术的规模化应用。
碳化硅在功率半导体层级有显著的性能优势。相比硅半导体，碳化硅的禁带宽度是硅的3倍，电场强度是硅的15倍，电子饱和率是硅的2倍，因而在高温下更加稳定，导通阻抗低，同时导通能耗也随之降低。
此外，碳化硅有更快的开关速度，可降低开关能耗，且其导热系数是硅的3.5倍，可带来更好的散热性能。
因而，碳化硅电容器的元件体积可以做到更小，同时损耗降低，提升整车的系统性能。

而且，因为碳化硅的这些特性，其在800V高压系统中也有着天然的优势。
800V高压系统主要是为了实现高压快充。日前，小鹏刚刚发布其基于800V高压技术的快充技术。
我们知道，功率等于电压乘以电流，快充需要在尽量短的时间内充入更多功率，因此，实现快充的方式是增加电流或者电压。但加大电流意味着更粗的线束，发热更多，需要更多附属设备，而充电电压提升则有更大的设计自由度。因而，800V高压系统也成为近年的发展趋势。
但当电压系统从400V升高到800V时，硅功率器件的导通损耗和开关损耗都会明显增加，此时，使用损耗更低，更耐高压的碳化硅功率器件是目前最好的选择。
而且，据凌和平表示，随着碳化硅大规模的使用后，整个成本也在降低。并且因为碳化硅带来了系统效率的提升，整车所需装备的电池量也在减少，因而其综合成本和硅基的持平度或者差距正越来越小。因而，凌和平认为两者成本预计在2024年左右可能会达到一致，“一致之后可能会让车的重量、效率、综合性能都会达到大幅度提升。”
此外，据纬湃科技投资（中国）有限公司新能源科技事业部亚洲区创新总监李智文表示，提高电机的转速也是提高电驱系统功率密度和效率的又一有效方法。“目前我们在研的电机转速要求已经达到18000转—20000转的水平，下一代电机转速很可能就会奔着25000转的水平里迈进。”
04.
两挡减速器提高能效
在减速器方面，为了提高能量的利用效率，目前两挡速比的减速器也正成为电驱系统发展的一个趋势。
由于车辆的工作特性，在低速时需要输出大扭矩，实现加速，而在高速时则需要输出恒功率。传统内燃机的特性无法与车辆直接匹配，因而需要加一个多挡变速器。电机的特性则正好与车辆工作特性吻合，因而无需增加多挡变速器，只需要一个单级减速器或两挡变速器即可。
目前，大部分电动汽车采用的都是单级减速器。其优点是传动效率高、开发难度小，但其缺点是要求电机扭矩较大，同时转速又较高。
而且，单一速比的设计无法兼顾电动汽车对低速起步时的加速性、高速巡航时的速度以及爬坡时的性能的要求。同时，电机高效工作区间有限，会导致高速行驶时车辆耗电量明显增加，尤其是当车速超过80km/h时，也会出现动力加速薄弱的现象。而电机如果一直保持高速运转，对电机本身的可靠性也提出了较高的要求。

▲ 舍弗勒48V P4模块的两挡齿轮设计
使用两挡变速器时，利用速比调节，可扩大电机的高效区间，降低电机工作转速，有效提高能量利用效率。例如，在起步、超车、爬坡等需要较大动力时，使用一挡低速比，可以实现较大的扭矩，减小百公里加速时间，提高最高速度，也能保证最大的爬坡度。
而在高速巡航时则使用二挡高速比，保证驾驶平稳，并提供良好的NVH体验。
但两挡变速器涉及换挡，由于换挡过程中，减速器输出轴扭矩的变化并不是连续的，因而就需要面对换挡平顺性的问题。
在TMC 2022大会上，法雷奥展示了其换挡控制策略。换挡控制的目标是在换挡时保持至少一个驱动单元连接车轮，以维持车辆在加速换挡过程中的加速度。
法雷奥的高性能电驱动方案是采用高压前驱来为换挡过程中加速度下降的瞬间提供额外的动力。当后驱换挡过程中加速度下降过大时，前驱可在2s内提供更高的驱动峰值功率，尽量减小后驱换挡过程中的加速度下降。由于前驱动力可以维持车辆加速度水平，车辆仍可以实现平顺的自动换挡品质。
目前，包括采埃孚、麦格纳、舍弗勒、吉凯恩等企业均已发布两挡减速器产品。
保时捷2020款Taycan是全球首款在后桥配备两挡减速器的电动汽车。此外，包括魏牌Wey P8，长安CS75插电式混动SUV，广汽埃安LX Plus等车型也均搭载了两挡减速器。

▲ 广汽埃安两挡双电机“四合一”集成电驱
05.电驱系统影响智能化
凌和平表示，在物理结构上，电驱系统发展的终极目标是要把整个功率密度提高，把整个体积做小，把整个功能复用好，成本降低。
而另一方面，凌和平认为，电驱系统在软件上也有很大的潜力。
“因为电机本身的响应速度就比底盘系统高，比如电机的旋变响应速度和分辨率就比流速传感器高很多，这个时候怎么利用好电机的响应？并且电机本身就是一个正负扭矩特性的一个部件，既然可以驱动完全也可以采取制动，怎么样把整个制动的功能从底盘转移到电机上来，减少底盘的作用，这是我们电驱动系统未来要做的方向。”
此外，凌和平表示，把底盘控制和整个动力系统的控制融合好之后响应会很快，在复杂路面上的控制系统以及车的感觉都会更好，并且安全性会更高，这同时也是对智能化的赋能。
目前，因为智能驾驶的大逻辑都是以摄像头、雷达等远距离感知为主，很难知道路面的真实情况，传统的流速传感器反应又慢，因而前面看到的和脚下的就不合拍。而当把整个电机的控制和底盘控制融合完以后，借助于电机，对路面的识别就会变得很快。此时将其与上层眼睛的感知结合起来，就能达到很好的统一。
因此，电驱系统的发展趋势也包括把电驱动系统和底盘的控制与智能驾驶的整个融合做得更好。
可以说，虽然电动汽车还存在着一定的缺陷和弱势，但随着其在电驱系统上的发展，电动机相较内燃机的差距正在逐渐缩小，而其优势也在渐行扩大。
另一方面，得益于电气化的天然优势，电动汽车在整车的智能表现上也将有更大的想象空间。
相机芯片
一套完整的视频监控摄像机是由各种组件组成，其中最核心的组件就是主控芯片（SoC）。本文将围绕芯片的作用，以及它们如何让摄像机变得更先进、更智能来进行阐述。
在构成视频监控摄像机的各种组件中，主控芯片发挥着至关重要的作用。安霸市场和业务拓展副总裁 Chris Day 表示：“谈到整体性能和图像质量，摄像机里决定图像画质的关键要素包括镜头、图像传感器和主控芯片。其中，主控芯片的图像处理能力对整体图像质量起着举足轻重的作用，并且高质量的视频压缩能力也重新定义了用于视频流传输和视频存储所需的图像质量与码率。”
让相机更智能
主控芯片对推动相机智能分析能力发展发挥了关键性的作用。随着市场上出现越来越多所谓的 AI 相机，这一点非常重要。
安讯士（Axis）高级专家 Stefan Lundberg：“从根本上来看，芯片不仅决定了摄像机的性能，还让深度学习等高级功能成为现实。例如，过去通过运动检测技术来提醒安保小组，有物体或行人进入了限制区域。而先进的新一代芯片可对场景进行分析，准确地告诉你是什么物体触发了警报——无论是动物、行人还是车辆。安保小组可因此做出正确的决定，是忽视还是进行下一步调查。”
为了支持基于深度学习的复杂算法，芯片需要与 AI 加速器合为一体。
Lundberg 说：“推理是现代人工智能分析的核心。图像经过神经网络推理得出最终决策，如检测或分类。单颗芯片必须包含一个硬件加速的深度学习处理器，专门用于处理这类计算密集型任务。这意味着芯片系统在执行推理时，所有其它处理也能够同时执行。”
Chris Day 说：“相机芯片必须集成一个 AI 处理器，从而提供基于神经网络处理的深度学习分析。安霸的 CVflow AI 引擎就拥有这样的能力，以超低的功耗提供高性能的 AI 处理。CVflow 硬件加速引擎是对通用 ARM CPU 的补充，并已集成到安霸的一系列 CV 芯片中，用于相机控制任务和运行神经网络等通用处理。”
采购 VS 自研
相机供应商可通过两种途径获得其所需芯片，与主供应商如安霸直接采购芯片，或者自主研发，各有各的优势。
安霸的 Chris Day 说：“自主研发芯片需大量的投入，尤其是采用最先进的制造工艺。如 5 纳米制程，单是掩模组一项设计就需要数百万美元（不含 VLSI 工程费用）。因芯片研发固定成本的迅速上涨，客户需要达到越来越大的出货量才会去考虑开发自己专属的解决方案，从而保证投资的合理性。因研发成本上升得如此之快，越来越少公司能够证明自研专属芯片是合理的。另外，大多数相机制造商旗下有各种各样的相机产品，对产品外形尺寸、性能和功能要求各不相同，单一的芯片不可能同时有效地满足所有相机产品的不同要求。安霸拥有多款不同功能和性能的芯片系列，可以满足相机产品的全方位需求，同时共享一套通用 SDK 以实现高效的软件开发。”
同时，一些摄像机制造商（如安讯士）因诸种好处而使用自研芯片。
安讯士的 Lundberg 说：“当我们推出世界上第一台网络摄像机——安讯士 Neteye 200 摄像机时，很快就意识到市场上现有的芯片无法满足我们后续产品的推陈出新，从根本上难以满足我们想为全球安防行业做出贡献的愿景，故我们多年来一直致力于设计开发自己的芯片。这亦是自研芯片的主要优势。自研芯片的迅速开发，意味着我们可以直接以客户的需求为导向，响应外部市场的需求变化进行持续创新。通过完整的端到端流程，我们在研发早期就能识别及解决任何漏洞。以问题为导向的设计创新方法能帮助我们解决用户在安防监控的挑战，从而更好服务我们的客户。”
芯片评测
Lundberg提到：“对芯片进行评测时，我们需要考虑一系列的因素。从基本参数开始评测非常重要。一旦评测合格，就可以转向评测最重要的芯片功能列表。其次，芯片必须要支持相应的技术标准。然后，最关键是要纵览全局，确保整个解决方案具有好的品质，随着时间的推移亦能保持稳定的性能，并且采用安全的实现方式。”
以下是 Chris Day 认为用户在芯片评测时需关注的内容。
• 先进的降噪技术及在各种具有挑战的低光照条件下的高质量图像处理能力。
• 在高对比度场景中可呈现更多图像细节的高动态范围处理。
• 高效的 H.264 和 H.265 视频编解码技术。
• 消除图像失真的鱼眼镜头畸变矫正技术。
• 高分辨率成像和压缩技术，可为远距离图像传输提供更多、更高质量的图像细节。
• 超低功耗，可应用开发外形小巧、长时待机的摄像机（通过电池供电）。
• 能同时处理不同分辨率和比特率的多路视频流。
• 能融合多路图像传感器的多成像设计，如四个图像传感器构成单个 360 度环视摄像头。
• 能同时运行多个神经网络的高性能AI处理。
智能楼宇自动化系统和感应传感器系统
该联合参考设计方案在传感器节点增加了可扩展的AI智能应用，同时保护用户隐私，成为智能楼宇分布式管理的新范式
2022 年 4 月 5 日，美国加利福尼亚州圣克拉拉市和圣何塞市
Ambarella（下称“安霸”，纳斯达克股票代码：AMBA，专注于AI视觉感知芯片的半导体公司），与 Lumentum Holdings Inc. （下称“Lumentum”，纳斯达克股票代码：LITE，行业领先的创新光学和光子产品设计商和制造商），宣布合作一项新的联合参考设计，该设计方案注重边缘 AI 与用户隐私保护，为智能楼宇应用带来了新的突破。这款开创性的参考设计方案命名为 Vision-D，集 Lumentum 泛光照明模块与安霸边缘 AI SoC CV22 于一体，由安霸 CV22 提供业界领先的能效比，实现极其精确的 ToF 3D 感应。Vision-D 可对遍布整个建筑大厦的智能 AIoT 设备的传感器进行赋能，从而实现本地处理，如室内监控、智能空间管理和智能零售等应用设备。另外，ToF 3D 传感技术通过生成具有 3D 信息的点云（不包含任何个人身份信息）来保护用户隐私，可适用于医疗保健和老年人护理等应用。

根据全球第二大市场研究咨询公司 MarketsandMarkets 的调查数据，预计感应传感器市场将从 2020 年的 19 亿美元增长到 2025 年的 36 亿美元，预测期内复合增长率为 13.3%。绝大多数系统里的感应传感器采用被动红外（PIR）技术，只能提供监测者和建筑环境的基本信息，而少数系统则采用摄像头来捕捉可供识别的特征信息。创新的联合参考设计 Vision-D 为终端设备添加 AI 智能处理的智能传感应用提供了巨大的可能性，同时保护用户隐私并降低云计算成本。在传感器节点上直接集成 AI 智能，从而实现多样性的功能及可扩展性，如创建数字孪生技术，实现空间实时自动化利用或共享空间办公智能化。其他智能应用还包括高低峰期接待人员配置、清洁和维护提醒，从而解决劳动力短缺问题，以及优化 HVAC 和照明系统的使用情况，提高能源效率，节能省成本。
安霸高级营销总监 Jerome Gigot 表示：“目前智能楼宇的自动化系统一般采用两种感应传感方式：可保护隐私的基础型运动检测设备，或存在隐私泄露的基于摄像头的智能系统。Vision-D 将高性能的 Lumentum 泛光照明模块与安霸 CVflow® 边缘 AI SoC 集成一体，为保护用户隐私的数字转型提供了全新的解决方案。”
Lumentum 产品线管理总监 Ken Huang 说道：“在全球日益增长的老年人监测及家庭医疗保健、混合工作模式下的高效建筑应用，以及其他日益重要的相关应用的推动下，复杂的智能楼宇自动化和室内监测解决方案的应用正在迅速扩大。创新的 Vision-D 参考设计方案可提供大量的数据集及高效的处理能力，同时在外形尺寸和保护隐私方面都完美地满足了楼宇自动化和室内感应系统的关键要求。”
安霸 CV22 SoC 不仅可支持多个图像传感器同时输入，还拥有丰富的外设接口，可支持其它主流传感器（包括湿度、温度和音频），从而增强系统环境感知能力。Lumentum ToF 3D 传感系统的 10W 泛光照明模块采用了三结垂直腔表面发射激光器（VCSEL）芯片，感知性能卓越。
Vision-D 参考设计方案为智能楼宇自动化、医疗保健、智能零售和家居安防等领域的广泛应用提供了一个多功能平台。例如，能分辨宠物和小偷的智能家居 PIR 人体感应监控系统 ；能根据实时入住情况对预定房间的 HVAC 进行智能调节的酒店环境智能控制系统；以及不侵犯隐私的远程看护系统。无论何时何地，在 Vision-D 参考设计上运行的 AI 算法可精准判断被监测者是否突然摔倒或发生医疗事件，并立即智能触发紧急服务请求。
安霸和 Lumentum 两家公司构建的强大工具和合作伙伴生态圈，可助力客户进一步缩短新产品上市时间。
创新的 Vision-D 联合参考设计现已上市。

参考文献链接
https://mp.weixin.qq.com/s/vabcv7fKNkVI3xNA7rdTiw
https://mp.weixin.qq.com/s/xIEFeavU4Pi7b0vwBaW6GA
https://mp.weixin.qq.com/s/jvSo3mnkgzOxmFHj8nBoyQ
https://mp.weixin.qq.com/s/Qxyb5lSWmVtxrNoDCOVRQg
https://mp.weixin.qq.com/s/xhyAdjjIzdPFsqhbxuVUHQ
https://mp.weixin.qq.com/s/PFlhE5C5fbOnokMLQbO1Rg