芯片采购,IC采购,芯片采购平台
芯片
每日新闻头条
首个自研发布NPU芯片,与ISP有何区别?
(2024年9月28日更新)

2021年12月14日举行的2021 OPPO在未来的科技大会上,OPPO宣布未来十年品牌焕新,展示技术和产品的创新肌肉。

芯片采购网专注于整合国内外授权IC代理商现货资源,芯片库存实时查询,行业价格合理,采购方便IC芯片,国内专业芯片采购平台

OPPO首个自研发布NPU芯片

在OPPO此前,许多手机制造商推出了自主研究ISP高通最新发布的新骁龙8处理器图像芯片也得到了改进ISP性能,甚至改变了命名方式。

马里亚纳MariSilicon X立项于2019年。OPPO芯片产品高级总监姜波本人是芯片行业的老兵OPPO核心芯片供应商(高通)员工。在回忆来OPPO姜波在芯片开始时印象深刻:一是当时春笋(OPPO深圳办公楼)有一个办公室贴了一张A4打印室,上面写着马里亚纳四个字,团队刚刚建成。另一个是这些人坚信OPPO既然打算做芯片,就会把图像的轨道做到极致。

也就是说,OPPO从制作芯片开始,我们就坚定地将图像能力提升为未来十年的长技术轨道。

马里亚纳MariSilicon是OPPO第一个自研芯片也是世界上第一个6nm影像专用NPU芯片。它有四技术突破:

第一,强AI计算性能和领先能效。

马里亚纳MariSilicon X整合自研MariNeuro AI提供18个计算单元TOPS最大有效算力(iPhone 13 Pro Max搭载的苹果A15 Bionic芯片AI算力为15.8TOPS)。AI同时计算能力强,行业领先11.6TOPS/W能效性能也很重要,这取决于OPPO自研芯片与AI算法与软件集成的高效集成。

例如在运行OPPO自研的AI降噪算法时,马里亚纳MariSilicon X能够以4K40的规格fps与以前的处理速度相比,处理速度Find X3 Pro通用NPU支持的2fps同时,功耗降低了50%以上,体现了越专用越高效的优势。

马里亚纳MariSilicon X还采用双层存储架构,其集成的片上内存子系统,每秒可提供超大吞吐量,保证大量吞吐量AI数据在计算时不需要离开AI避免内外数据交换带来的读写功耗。另外,马里亚纳MariSilicon X还配备了独立DDR带宽高达8.5GB/秒,为芯片中的每个计算单元提供独立的带宽,使超级计算能力不受读写速度的限制。独立DDR带宽的增加也手机系统总带宽带来了17%的增量。

二是行业领先的影像性能。

马里亚纳MariSilicon X整合自研MariLumi最高支持20个图像处理单元bit处理位宽,支持惊人的20bit Ultra HDR,是目前旗舰平台HDR能力的4倍。在即时画面中,最亮最暗的亮度对比值达到100万比1,几乎与人眼的真实感受相同,实现了手机图像HDR新的性能突破。

第三,20bit实时RAEcliptek代理W计算图像无损处理的新范式。

马里亚纳MariSilicon X强大的性能帮助OPPO重塑无损图像链路,只能在后端完成传统链路AI最原始信息的最前端是计算——RAW域,为计算摄影的未来发展带来创新。

传统计算摄影的视频处理基本上是在图像链路的末端,即YUV域执行,但链路中的多次转换会导致图像数据丢失大量信息和细节,这也导致传统计算摄影只能处理损坏的信息,无法达到最佳效果。

马里亚纳MariSilicon X引领将是复杂的AI算法以及20bit HDR所有前置集成RAW域进行,让AI计算不再局限于信息量的损失,为整个图像链路输出高质量的图像数据。与传统的后端计算相比,马里亚纳MariSilicon X的实时RAW计算可以带来8dB图像信噪比增加。

第四,专属RGBW Pro实现传感器能力最大化的模式。

马里亚纳MariSilicon X之后,OPPO图像垂直链路整合首次完成,RGBW Pro模型是最好的例子。马里亚纳纳通过双通道设计MariSilicon X第一次实现对RGB最大限度地利用每个像素的特性来释放与W像素的分离处理RGBW阵列的所有潜力。马里亚纳MariSilicon X的RGBW Pro模式带来了8.6dB在传感器尺寸规格不变的前提下,信噪比增加,分析力增加1.7倍,图像效果显著增强。

在四大尖端技术突破的加持下,马里亚纳MariSilicon X以同时支持4K 20bit RAW计算 AI Ultra HDR新规格为计算图像树立了新的标准AI第一次有4个视频K表现;也让4K第一次拥有视频AI能力。

其实以上四点也是OPPO将马里亚纳MariSilicon X定义为自研NPU图像芯片不是其他制造商推出的自主研发ISP芯片的重要原因。

姜波对《一观察》说:马里亚纳MariSilicon X通过NPU解决释放计算图像潜力的主要问题。OPPO认为未来手机图像最重要的创新方向是计算图像,计算图像的上限是AI算力。现在手机照片的计算影像实际上做得很好,但对于特殊的图像AI计算能力差异很大,导致夜景拍摄等极限场景的所见即所得和视频拍摄过程中的体验不够好。OPPO决定投入巨资打造像专用资源NPU芯片的重要原因。

对于与ISP整个图像单元实际上有很多功能,ISP通常只能解决部分问题,而且ISP包装后很难通过算法提高性能。而自主研究NPU图像芯片可以完全解决这两个问题。

手机厂商要不要自己做芯片?

手机制造商想开发自己的芯片吗?一种观点是,芯片行业有一个非常成熟的解决方案,风险高。

高通产品管理副总裁Judd Heape12月初,手机制造商在骁龙技术峰会上表示ISP芯片特性将集成在骁龙旗舰主芯片中,取代目前额外的硬件添加方式。高通全球CEO安蒙在接受《财经》采访时评论说,手机制造商的专业知识是创造一个完整的手机终端交付体验。如果芯片和终端都被考虑在一起,它将花费大量的精力。

但从另一个角度来看,苹果、华为和三星在全球高端手机制造商中都具有独立开发的芯片实力。苹果手机的创新近年来受到了批评,但其在A系列芯片中的发布仍然备受关注,被认为是苹果手机保持强大竞争优势的关键。华为依靠对麒麟芯片的长期投资,创造了不同于其他手机品牌的差异化能力和图像护城河。

更重要的是,如果没有自主研究的能力,没有人能绝对保证华为芯片卡脖子之类的疼痛不会发生在外部形式确定性。即使退一万步不谈供应链风险,公开市场也是通用的SoC芯片产品无法准确优化特定品牌、特定群体和特定型号。一是手机企业难以创造差异化产品,二是难以准确定义自己的用户需求和功能创新。结果是产品高度同质化,一些手机品牌热衷于抢首发,导致行业不断催生内卷。

OPPO创始人兼首席执行官陈明永今年OPPO未来科技大会的声明也积极回答了这个问题:科技公司必须通过关键技术解决关键问题,没有底层核心技术就不可能有未来。没有底层核心技术的旗舰产品是空中楼阁。

陈明永强调:陈明永强调:OPPO我们将继续投资资源,用数千人的团队脚踏实地地制作自主研发芯片。

据了解,为了开发马里亚纳MariSilicon X,OPPO成立的芯片研发团队高达2000人(不排除同时开发其他芯片),其中许多核心人员来自一线半导体工厂。

OPPO拥有马里亚纳意味着什么?

从马里亚纳MariSilicon X这颗NPU芯片本身的定位很有意思。

首先,从设计之初到现在,它的定位非常坚定:打破手机图像的天花板。

姜波说:OPPO在过去10年智能手机业务的发展过程中,在图像领域积累了大量的积累,在长期使用第三方通用平台的过程中,也有很多AI与CV(计算机视觉)算法的经验,当业界公认计算图像是未来10年图像领域的发展方向时,关键是如何更好地凝聚这些积累,继续发展,这也是OPPO计划开发自己的图像处理芯片。

手里拿着马里亚纳OPPO也在本次未来科技大会上公开宣布:MariSilicon X这颗NPU芯片不仅是过去十年的总结,也是OPPO未来十年图像的新开篇。

第二,第一个自研芯片挑战6nm而且一次流片成功。

6nm与今天主流的智能手机5相比,工艺已经完成G SoC,如高通骁龙778G/778G ,联发科天竺1200/100处于同一梯队,并挤进台积电产能排期。

国外媒体报道了一个数据:28nm芯片开发成本约为5130万美元;16nm节点需要1亿美元;7nm节点需要2.97亿美元;5nm开发芯片的成本将达到5.42亿美元;3nm开发成本可能超过10亿美元。

考虑到这是几年前的数据,加上MariSilicon X并不是一款SoC芯片的开发成本可能没有那么高,但行业估计也需要超过1亿美元。而从2018年INNO DAY上OPPO创始人陈明永宣布,2019年研发投资100亿元INNO DAY芯片研发业务占据了3年500亿元的快速上升。

同时,工艺越先进,设计越困难,第三方的成熟度就越高IP流片的风险越小,面临的风险就越大。

姜波还在与《一观察》的对话中透露,使用6nm制程工艺的MariSilicon X流片不仅成功了一次,而且测试性能也完全达到了开发团队的预期。从早期研发到后期流片的所有投资都是扎实实施的。这方面可以说是极其幸运,但更多OPPO如今,芯片团队的技术能力和成熟度。相比之下,2019年第二代芯片制作中的一个国产手机品牌流片失败五次,资金烧了几十亿,教训惨痛。

姜波认为,手机企业必须掌握时间、投资、人才三个关键要素,后者更为重要。OPPO是芯片领域的后来者,切入角度陡峭,目标芯片技术含量高,客观上非常困难。但OPPO不同团队之间的协作非常好,如芯片和图像连接,算法和硬件的协作非常高效和流畅MariSilicon X芯片在不到三年的时间里取得了技术突破,流片的成功与产品量产同样重要。

第三,MariSilicon X2022年第一季度,芯片已量产新一代Find X该系列首发搭载上市。

也就是说,新一代Find X系列将会是OPPO近年来,在手机图像方面取得了重大突破。这还需要考虑另一个变量,即一加回归OPPO此后,哈苏战略合作带来了光学、算法和调整的显著改进。开启双芯时代OPPO,这也将真正踏上未来十年图像的新开始。

OPPO新品牌主张:微笑前进

在这次会议上,OPPO全新品牌主张微笑正式升级。

陈明永在会上说,微笑前进来自OPPO本分价值观也来自OPPO打造第一款笑脸手机以来一直坚持为用户创造惊喜的产品思维。

陈明永说,社会上有许多普通人在努力工作。他们是这个时代的爬坡者。微笑前进代表OPPO与所有爬坡者一起行动。OPPO作为一名微笑的攀岩者,我们希望通过科技创新促进未来产业和社会的发展。让每个攀岩者都有合作伙伴和力量。即使在风雨中,你也可以向光明微笑。

2020-2021年对于OPPO这是一个具有挑战性的周期,包括重新梳理产品线,调整组织结构,优化渠道体系,提出科技为人,善世界的品牌信念,明确3 N X科技跃迁战略。

2021年底举行的OPPO未来的科技大会更像是对的OPPO技术、产品和新品牌理念的回顾。除了发布马里亚纳MariSilicon X芯片之外,OPPO它还推出了第三代AR眼镜:OPPO Air Glass,具有量产能力,携带性高,实用性强。第一款折叠屏手机——OPPO Find N该系列也于12月15日正式发布,成为OPPO在产品创新实力和冲击期间展示新的利器。

面对未来十年,OPPO定位为微笑前行的爬坡者OPPO选择一条充满挑战但愿意奋斗的道路。正如陈明永所说:如果你坚持做正确的事情,正确的道路就不怕远,也不怕困难。OPPO会有更多的原创技术像星星一样涌现。

芯片采购网|IC采购|IC代理商 - 国内专业的芯片采购平台
芯片采购网专注整合国内外授权IC代理商的现货资源,轻松采购IC芯片,是国内专业的芯片采购平台