传感器和AI相结合,ST智能传感器助力未来可持续的虚实交融生活

时间来到2023年,ST在中国召开了其首届传感器大会,支持本地端的AI计算的智能传感器成为了本次大会的焦点。在开幕演讲上,意法半导体副总裁·中国区总经理曹志平表示,我们的生活经历了从off-line到on-line的变革,以及从on-line到on-life发展,目前迈入Sustainable Onlife阶段,具备AI能力的传感器将会是构建永久在线的、虚拟交融的可持续生活的关键。

2019年ST就推出了集成自家ML内核的传感器,这在当时确实是业界首款。而这款产品并不是ST的浅尝辄止,而是开启了其在AI传感器上的完整生态布局。

时间来到2023年,ST在中国召开了其首届传感器大会,支持本地端的AI计算的智能传感器成为了本次大会的焦点。在开幕演讲上,意法半导体副总裁·中国区总经理曹志平表示,我们的生活经历了从off-line到on-line的变革,以及从on-line到on-life发展,目前迈入Sustainable Onlife阶段,具备AI能力的传感器将会是构建永久在线的、虚拟交融的可持续生活的关键。

智能传感器要具备多强的计算能力,才能实现端侧AI应用?传感器和MCU/SoC之间又该如何分配数据的处理任务?带着这些问题我们有幸采访到了ST的诸多高层。

智能传感器布局:从MLC进化到ISPU

“智能传感器必须要能够实现独立的决策——通过它收集到的一些数据,能够不依赖微控制器(不管是节点级别的次微控制器,还是主SOC)独立做出决策。”意法半导体亚太区模拟器件、MEMS和传感器产品部 (AMS) MEMS及影像传感器子产品部市场及应用副总裁、智能手机创新中心负责人Davide BRUNO表示,“所以就ST本身而言,现在正在努力让传感器(不管是运动传感器、加速记仪,还是影像传感器方面)最终能够根据自己收集和感知到的数据做出独立的决策,并自动采取干预行为,从而得到预期的效果。”

通常在一个端侧系统中,会需要用到传感器、MCU和其他一些连接的功能。传感器负责采集真实物理世界的信号以及人体的相关信息,然后负责将数据传递到MCU中进行计算。MCU通过对于数据的计算分析,然后产出控制信号给到执行机构。在这其中,复杂的数据运算可能需要上传到云端进行处理和记录。

而ST在2019年推出的MLC(Machine Learning Core),则是在传感器内增加一个可重新配置的单元,被称为rPU。该rPU可以通过寄存器重新配置,能够运行一些简单的AI模型。其中FSM是用于设计逻辑连接的数学抽象。它是由有限数量的状态和状态之间的转换组成的行为模型,类似于流程图,可以在流程图中检查满足某些条件时逻辑的运行方式。FSM允许可以将一些算法从应用处理器转移到传感器中运行,从而持续降低功耗。

而在传感器峰会上,我们听到了一个更新的产品类型叫做——ISPU,即Intelligent Sensor Processing Unit。据了解,ISPU其实是早在2022年初就已经发布,这是一款内置了DSP的IMU产品,ISPU是集成在传感器的ASIC中的一个专门用于机器学习和处理器的DSP,可采用专用指令集进行编程,能够运行1位NN精度的AI算法。Davide表示,ISPU能够在边缘自动分析处理数据,并根据特定应用的需求,采取干预行为,并确保所需的精确度,从而让终端应用变得更为丰富。而这一理念可以从IMU延伸到ST所有类型的MEMS和imaging传感器当中。

意法半导体MEMS传感器产品市场经理Francesco BIANCHI表示,ISPU是意法半导体跨向人工智能领域的最大一步。目前,可以通过ISPU来帮助客户实现在他们自己的神经网络端,以及包括在他们自己的人工智能算法上的解决方案的打造。

数据分区处理,带来系统能效提升

通过在传感器中集成NN单元,像ISPU这样的产品,可以让用户的数据做到分区处理:在传感器上运行特定级别的一些数据的处理,比如说一些比较简单的或者是中等难度的数据处理;并将比较复杂的算法和比较密集强度的一些问题,留给MCU进行处理。

因为传感器上的AI算力增强而实现的这种数据分区处理,能够大大提升整个端侧系统的能效。

Francesco表示,如果从传统的系统优化的角度来说,大家都认为传感器本身就是一个低功耗的产品,是整体技术架构里面低功耗的一个部分。而对于MCU微控制器来说,因为它要进行大量数据的处理,所以它处理数据数量的高低,直接决定了它的功耗的多少。如果我们能够让一些原始数据实现本地(传感器侧)的处理,就可以帮助为微控制器留出更多的空间来进行复杂任务的处理。这是可以帮助进一步地优化系统及整体的功耗的。“更多原始数据的处理,都可以在ISPU实现本地完成。这样就能够提供更多的信息,提供更多的原数据,帮助我们和客户通过数据的方式执行更多的任务。通过这样的方法,可以帮助客户实现其解决方案极大的系统化的升级和优化。”

此外,数据分区处理还可以提高安全等级。因为通过传感器所收集到的大部分数据都是原始数据,如果采用传统意义的传感器,这些数据可能会放到云端,或者是放到应用端去进行处理。因此,这些数据如果保护不好,就会出现外泄并为第三方所获取。但如果传感器本身就能够实现对数据的一些处理的话,它就帮助降低了数据外泄的可能性。

正如Davide所讲到的,智能传感器的概念并不仅仅局限在MEMS传感器、IMU类型的传感器上,而是也贯穿到了Imagining的传感器产品布局中。意法半导体影像传感器总监Marc VASSEUR就强调到,ST的Imagine传感器可以在计算数据之间实现有效的平衡。

影像传感器的原始数据量非常庞大,要基于其进行算法开发需要花费巨大的时间——很多可供终端用户使用的算法需要花2年以上的开发时间。“所以,我们提供的算法之所以能够为客户所使用,是要确保当我们在数据处理的分区的过程当中,特别是在图像处理的过程当中,我们非常接近这个层级数据的采集,确保我们的传感器能实现有效的数据的收集,数据的处理和数据的存储。”Marc分享到。

超级传感器的融合之力,赋能未来应用

传感器除了智能化外,也存在着融合的趋势,通过多种传感器融合,一方面可以实现系统中更好的BOM和面积优化,另一方面还可以带来安全冗余的特性。Francesco将这种融合的传感器称为超级传感器:“对于任何的应用来说,如果想进一步提升它的性能,都可以考虑使用这样的多传感器融合之后的超级传感器。我们之所以称之为超级传感器。”

除了ISPU外,ST在此次传感器峰会上还介绍了一个独具特色的模块——vAFE。该类器件是在MEMS传感器上增加了一个模拟前端,从而实现了机电感知+模拟感知技术的融合。Francesco表示,通过vAFE,客户就能够有效地连接到MEMS传感器,从而能够更好地使用其内部的处理逻辑,能够更好地嫁接和外部任何的模拟器件之间的联系。

据了解,vAFE提供的信号和运动传感器的信号本质上是同步的,所以可以在传感器的边缘完成独特的上下文感知分析,从而实现低功耗和最小可能的延迟。这也同样契合ST的智能传感器的概念。集成了vAFE的产品,在体积上更具优势,非常适用于TWS耳机等可穿戴设备的应用。

传感器融合的技术和强大的AI算力结合,能够赋能诸多的新兴终端产品形态。例如针对折叠屏手机,ST就将陀螺仪和加速度计的数据相结合,然后在传感器的算法中进行融合,进而可以持续跟踪精确的屏幕开合角度、速度和位移等信息的判断。这一专利技术基于LID系列的产品,因此被称为LID角度解决方案。

Francesco表示,ST在三年前就已经开始投入在这一专利技术的研发中,目前已经进一步推出了新的传感器产品,可以支持多屏和折叠屏上的数据的传感收集和处理。

同时Francesco也表示,多传感器融合的超级传感器可以适用于多种新兴的应用,这不仅包括折叠屏手机,也包括新一代笔记本电脑等。而在XR设备上,超级传感器可以为用户呈现出一些混合现实的影像和效果;而在汽车应用上,这一技术也早就广泛使用,通过多个高精度传感器的数据进行融合,从而形成超级传感器来进一步赋能ADAS的性能。

结语

此次在北京召开的ST传感器峰会,是ST首次在中国召开的、以传感器为主题的大型峰会活动。而我们透过ST的分享,观察到了传感器技术的趋势变化。传感器已经不再是单纯的一个感知器件,而是在追求精准感知的基础上,延展出更多的和AI相关的计算、融合的功能。在端侧AI的浪潮中,传感器在系统优化层面上,可以提供更多的数据处理的价值,助力未来真正的“可持续的、虚实交融的生活”。