从小米发布ISP芯片谈起

分享于 2021-03-30 20:16:42

2831

算法 ISP 厂商自研手机图像

ISP（Image Signal Processor，图像处理器）是手机芯片系统中的重要组成部分，负责图像处理部分。随着智能手机市场的发展，我们正在看到越来越多的手机厂商在自研ISP。国外的重要手机厂商中，苹果和三星一直在使用自研的ISP芯片模组，而谷歌再其Pixel系列手机中也用上了带有众多实验特性的自研ISP；而在中国的手机厂商中，我们也在看到越来越多的公司加入自研ISP的队列。华为作为中国手机市场技术的领头羊，其自研ISP早已落地在自己的手机系列中；此外，近些年来积极开发芯片的Oppo和Vivo也有消息正在自研ISP。最近，小米也加入了自研ISP的行列，可见无论是在国外还是国内，手机厂商自研ISP正在成为主流。

为何手机厂商要自研ISP？

手机厂商自研ISP的最根本原因还是照相系统在手机中是一个极其重要的组成部分，同时拍照质量也是决定手机消费者体验的一个极重要的参数。每年的新手机发布会上，几乎都离不开照相图像质量相关的内容，而ISP则很大程度上决定了图像质量。

具体来说，在手机的照相系统中，图像传感器（CIS）负责提供原始图像，通常是RGGB RAW图像。该原始图像和用户看到的最终图像相差甚远，而需要大量的后续处理，这些处理通常包括自动白平衡，去噪，tone mapping等等，而不同的ISP将直接决定最终图像质量。一般来说，无论是使用自研的ISP还是使用第三方提供的ISP，在使用在手机上的时候都需要经过大量的参数调整，即根据图像传感器和主要应用场景，需要工程师去仔细调整ISP各个处理的参数甚至是算法，才能确保图像质量达到最优。显然，如果是手机厂商自研ISP，则可以更好地根据手机的目标应用场景和CIS等来实现协同设计，其最终的图像质量效果往往会好过使用第三方ISP然后再去调整ISP参数。

不同ISP参数对于图像质量影响巨大

另外，我们看到在手机应用中，拍照的应用场景正在越来越多。除了传统的拍照之外，随着直播、抖音等应用的普及，越来越多的用户正在成为这类视频应用的创作者，而这就让越来越多的用户对于图像质量有更高的需求。此外，在谷歌、苹果等公司都在力推的AR应用中，通常的使用方式都是用户使用手机的照相机去拍摄真实世界的实时图像，而AR应用则把虚拟物件渲染叠加在真实世界的图像上。例如，目前地图类应用中得到应用的AR导航就是把路线指示叠加在用户实时拍摄的真实世界图像中，从而以一种更直观的方式完成导航。随着AR应用得到更多应用，我们认为拍照也在获得更多的使用时长，因此对于ISP的功能、延迟和功耗等都提出了一定需求。为了能在越来越多的拍照应用中实现差异化，手机厂商自研ISP也是顺理成章。

最后，研发ISP芯片可以说是手机厂商自研芯片路线图中的一个重要里程碑。对于想要自研芯片的手机厂商来说，ISP是一个极好的起步点：它的重要性高，一个好的ISP能帮助手机实现更好的拍照质量从而与其他手机实现差异化；另一方面，它的开发难度相比modem等模块来说又较为简单，在可以将越来越多芯片设计环节外包的今天，我们认为手机厂商开发ISP芯片无论是投入还是风险都比较小。因此，ISP可以说是投入和风险较小，而潜在的回报又较大，因此很适合作为想要自研芯片的手机厂商的第一个芯片模组。

ISP的技术发展方向

ISP目前正在经历一个新的技术革新期，而这个技术革新的主要动力来自计算机视觉技术的新发展以及计算机视觉技术的新需求。我们将对这两个方向分别分析。

首先，计算机视觉技术在这几年革新很快：随着机器学习技术和计算机视觉技术的结合，在这几年中，我们看到了许多基于机器学习的算法正在取代传统的机器视觉技术。举例来说，基于机器学习算法的超分辨、去噪、低光照场景图像增强等都取得了远超传统机器视觉算法的效果，而在未来几年我们预计还将看到更多类似的新计算机视觉技术更新。因此，我们认为基于机器学习的算法会越来越多地进入手机的照相系统中，而这也会影响ISP芯片模组的设计。例如，之前许多ISP算法都是固化的算法模块，不同的环节拥有不同的计算逻辑和电路；而随着基于神经网络的机器学习算法逐渐取代传统的ISP算法，我们可望看到在ISP中也会有越来越多的神经网络加速模块——这些神经网络加速模块根据具体设计可能会成为ISP中专用的模块，也可以作为手机整体AI加速器的一部分，在ISP有需求的时候来完成相应的算法加速。

另外，新的计算机视觉技术对于ISP也有新的需求。我们看到计算机视觉算法越来越多进入手机和下一代智能设备——例如VR设备中就有基于这类算法的手部追踪来完成人机交互，而这些算法算法对于图像质量的需求往往和人眼对于图像质量的需求不尽相同，例如算法需要的图像分辨率常常在400x400以下，对于许多细节的噪声等也不是很敏感；而另一方面这些基于计算机是觉得应用常常需要照相系统长时间打开（而不像传统用户主导的拍照通常只会开启很短时间）。因此，对于这些应用来说，我们更希望ISP能在满足算法对基本图像质量需求的同时，尽可能减少功耗，从而能满足智能设备散热以及电池使用时间的要求。类似的设计往往还需要结合一些图像传感器的特殊特性来设计——例如使用某些算法需要直接使用图像传感器的低帧率低分辨率模式，从而实现能效比的最优化。

因此，我们认为ISP技术将在未来几年内有较大的演进，因此现在是手机厂商开始自研ISP的一个很好时间节点。

ISP市场将如何变化？

目前ISP芯片模组供应商中，除了苹果等自研厂商之外，其余的供应商大致可以分为几类。首先是高通这类的SoC供应商在其SoC中已经包括了ISP进行打包销售，但是ISP不会单独销售。另一类是提供ISP IP授权的供应商，例如ARM和芯原等等。还有介于这两类之间的设计服务提供商，例如Socionext等，他们拥有ISP模组设计，而客户可以根据需求去对这些ISP模组进行部分定制并集成在其整体芯片方案中。

随着越来越多公司开始自研ISP，我们认为设计服务提供商可能将会从中受益。首先，对于初次自研ISP的厂商来说，从设计服务提供商的参考ISP设计出发，在这个基础上加入一些定制化的特性将会是一种不错的方式。此外，无论是否要使用设计服务提供商的参考方案，厂商自研ISP通常都需要设计服务商提供的物理设计等服务，而这都有利于设计服务提供商。

对于ISP的IP提供商以及SoC整体供应商来说，手机厂商开始自研ISP意味着自己的客户正在开始与自己竞争，如果要继续保持出货量则可能需要在性能上做到提升，同时在价格上则可能要有更多让步。对于高通这样的SoC供应商来说，小米和Oppo等自研ISP的手机厂商仍然需要使用高通的SoC来实现主要功能，因此如何利用这一点来部分抵消客户自研ISP的影响将成为重要的课题。