7月5日，商汤智能产业研究院发布《AI传感器：智能手机影像新核心》白皮书，提出在智能手机市场缓慢步入瓶颈期的趋势下，影像功能成为产业破局焦点，而人工智能软件与CMOS（图像传感器）硬件的融合，更是智能手机影像能力持续提升的重要支撑。
作为全球领先的人工智能软件公司，商汤科技前瞻开展了多元化的智能影像布局，通过AI算法SDK、AI传感器、AI ISP三位一体的智能影像解决方案，为智能手机影像技术的发展构建新的突破口和竞逐点。
商汤科技联合创始人、首席科学家王晓刚表示，“过去几年，AI算法的广泛应用突破了智能手机影像能力的硬件限制，未来，AI传感器将再次定义和引领智能手机影像发展的新趋势。凭借成熟的AI算法固化技术，商汤在AI传感器的技术领域积累了先发优势。我们将持续开拓创新，将AI传感器的应用从智能手机拓展至自动驾驶、元宇宙、智慧城市等更多领域，打开‘坡长雪厚’的蓝海市场，让AI传感器成为感知物理世界、构建数字世界的核心感官。”
智能手机增长趋缓，影像技术成为下一代手机产品差异化竞争力的新突破口
今年以来，受到核心零部件短缺以及疫情反复的影响，智能手机市场表现相对低迷。据信通院数据显示，2022年4月国内手机市场总体出货量为1808万部，同比大幅减少34.2%。对此，诸多手机厂商开始选择在消费偏好体验方面“对症下药”，在手机外观、处理器、屏幕显示、快充技术、游戏体验、内存存储等能力逐渐趋同的背景下，智能手机的影像能力成为了当前竞争的核心要素，以及消费者选购的重要标准。智能手机正全面进入“影像为王”的时代。
CMOS图像传感器和ISP（图像信号处理器）是影响智能手机影像能力的两大关键部件，前者更是塑造手机影像竞争力的核心。随着智能手机多摄像头配置的普及，5000万乃至1亿像素分辨率的应用，以及非Bayer图像传感器需求的旺盛，图像传感器技术得到了前所未有的发展。很多手机厂商甚至开始与传感器厂商寻求定制化合作，打造差异化的竞争力。
图像传感器的尺寸是影像成像质量的关键因素之一，然而智能手机纤薄的外形，使得手机图像传感器的尺寸天然存在物理上限。白皮书指出，过去几年，在AI算法驱动的计算摄影，以及更强大的处理器、专用图像信号和神经处理单元的加持下，智能手机的影像能力依然得到了持续提升。
然而，在传统的解决方案中，图像传感和AI算法的运行在不同的硬件上完成，图像传感器提供图像信号，而处理器或者AI加速芯片执行人工智能算法。白皮书指出，这种方案在强调低功耗和能效比的移动设备中，将会造成能耗资源的浪费，并且难以处理一些需要常开的应用场景。在此趋势下，人工智能赋能的图像传感器成为破题之道，引领CMOS图像传感器步入AI时代。
定格“魔幻时刻”，AI传感器让手机成为“个人智能影像工作室”
凭借领先的原创AI技术和软硬件整合能力，商汤不仅在超分辨率、AI超画质、夜景影像、高动态范围、超清人像、影像虚化、RGB ToF 3D等关键影像场景积累了大量算法能力，同时早在2019年，就已经与全球领先的图像传感器厂商开展紧密合作，将AI算法和传感器硬件直接融合，推动CMOS图像传感器发展进入人工智能软件定义的时代，将成像系统的整体能力推向新的高度。
商汤AI传感器可以借助AI技术，最大化地发挥原始光信号的价值。在终端设备获取视觉信号的伊始，AI传感器就可以进行优化和处理，增强真实世界感知、提高图像和视频的质量、丰富内容细节，同时还最大限度地降低了设备功耗，并增强了数据安全性。在提升图像质量的前提下，商汤的AI传感器还支持固化算法的可控可调，快速适配不同规格和工艺制成的传感器以及ISP芯片平台，实现高效的轻量化部署。
凭借AI算法、AI传感器和AI ISP的三位一体，商汤实现了AI技术对整个智能手机智能影像系统的一体化赋能。一方面，通过AI技术充分挖掘镜头模组、各种新型传感器等硬件的潜力，最大化利用成像设备的底层特性，实现最优的成像质量；另一方面，利用AI技术将成像系统中的各个独立部件有机结合在一起，充分联动，使原本独立运作的成像模块成为协同合作的成像平台。
得益于AI软件与硬件的紧密融合，用户可以获得拍摄质量的全面提升，拍摄场景的全面拓展。例如，通过AI对多种光源的时域、空域、频域不同特性的学习，了解自然光谱特性，进而根据实际应用场景，带来AI降噪、AI超分辨率，提升成像质量；在特殊拍摄模式下，AI夜景增强、AI人像增强，更为智能手机赋予了多样的“魔幻场景”。这些体验，让搭载了AI传感器的智能手机，成为每个人专属的“个人智能影像工作室”，消费者日常使用时，便可轻松拍出媲美专业影像器材的高质量作品。
（超分辨率效果对比：左图为传统方案拍摄效果，右图为商汤赋能）
（AI超画质效果对比：左图为传统方案拍摄效果，右图为商汤赋能拍摄效果）
（夜景影像效果对比：左图为传统方案拍摄效果，右图为商汤赋能拍摄效果）
大幅降低世界建模成本，AI传感器将成“元宇宙”的必经之路
面向未来，AI传感器的价值不仅在于提升智能手机的影像能力，它更将成为机器“认知”世界的基础设施，为更多物联网终端赋予智能感知与内容增强的能力。在全球40亿手机用户的庞大基数下，AI传感器的广泛应用，将大幅降低世界建模成本，成为连接物理世界与虚拟世界的桥梁，加速“元宇宙”的构建。在新兴应用场景中，AI传感器也将扮演重要角色。例如，在智能汽车领域，AI传感器将成为车辆感知世界的核心部件；在智慧城市领域，AI传感器更将为挖掘视频信息的价值发挥重要作用。
Gartner 数据显示，2022年CMOS图像传感器的出货量将会超84亿颗，到2026年则会超过107亿颗，成长为百亿出货量规模的半导体细分市场。秉承在AI传感器技术领域的长期布局，商汤将紧密携手合作伙伴，加速AI传感器的市场渗透，共同以AI软件重新“定义”图像传感器趋势，赋予硬件更多创新可能性。
