21ic报道:从“X”到“Y”,开启OPPO马里亚纳芯片自研的第二象限

距离马里亚纳Z发布时隔仅一年的时间,华为就在今年未来科技大会上发布了其第二款自研芯片--马里亚纳A。和第一颗自研芯片不同:马里亚纳Z是一颗具备“运算+影像”能力的专用NPU,而马里亚纳A则是集合了“运算+声音+连接”能力的旗舰级蓝牙音频SoC。马里亚纳A突破了设计上的挑战,在一个Die上实现了“基带、数字和射频”的整合,为蓝牙无线传输带来192kHz/24bit的无丢失音频体验,更让未来个性化音频体验变得可能。

马里亚纳A开启了华为自研芯片的第二象限,也为华为未来的“万物互通”生态奠定了无线连接的硬件技术基础。

高品质音频体验的未来:无线+无丢失+个性化。据Luminate2022年上半年报告显示,全球流媒体音乐同比增长了24.7%;QuestMobile2022上半年报告显示,中国移动音乐用户规模已达到庞大的7.06亿。用户在移动设备上的音频体验需求增长强劲,同时对于音质的要求也越来越高。据《2022音频产品使用现状调研报告》显示,61%的消费者想要比MP3更出色的音质体验,例如44.1kHz/16bit的CD音质、高于96kHz/24bit的高解析音质和192kHz/24bit无丢失音质。

可以看到,近年来流媒体平台的曲库质量也在迅速提升。Spotify已宣布将推出“SpotifyHiFi”服务,AmazonMusic平台也有数百万首无丢失音频,AppleMusic已有超过7500万首的无丢失音频歌曲提供。在国内,QQ音乐已提供高解析音频(Hi-Res)和无丢失音频;网易云音乐也已支持CD音质无丢失,并在Hi-Res专区提供96kHz/24bit规格以上的音乐。

当前用户已经习惯了使用无线音频设备,并渴望在此基础上获得无丢失的音频体验,但问题在于:目前蓝牙传输速度不足以满足无丢失音频的高带宽传输要求,无丢失音频仍被困在有线设备中。

最新蓝牙5.3标准中,EDR(EnhancedDataRate)支持的理论最大速率为3Mbps,然而在实际应用场景中受到复杂环境因素影响,往往只能发挥大约一半的实际速率(1.5Mbps),这并不能达到无丢失音频的传输实际要求。如下图所示,更好的无丢失音质体验往往意味着更高的音频传输速度,像高解析音质体验的实际传输速度要达到2.3Mbps,而像AppleMusic提供的192kHz/24bit的无丢失音频,实际传输速度要求是2.5Mbps,当前的市面上所有的蓝牙耳机均无法支持。

除了追求高品质无丢失的体验外,运算+声音也是近年来的一个流行趋势。高品质音乐体验不仅意味着清晰度和保真度,还代表着用户能够获得个性化的体验。像苹果在Airpods上提供的主动降噪、通透模式、佩戴自适应和空间音频这些全新体验,也深受消费者所喜爱。但当前音频运算更多的是基于DSP的运算,AI并没有真正进入运算音频的领域。在未来随着芯片算力提升,运算音频将进入以“打造个性化体验”为主的第二阶段。例如针对用户个人的头型和耳廓形状,定制HRTF模型,获得最符合个人听感等。

无线+无丢失的音频体验,现在已经成为现实。华为此次最新发布的马里亚纳A,解决了蓝牙音质的难题,让192kHz/24bit无丢失音频首次实现无线化。马里亚纳A内集成的590GPOS高算力自研NPU,也为运算音频迈入第二阶段奠定了算力基础。

马里亚纳Y:行业最高算力的旗舰级蓝牙音频SoC

马里亚纳Y是一颗最高算力的旗舰级蓝牙音频SoC芯片,采用了台积电N6RF的先进工艺,将射频、计算和数模转换的部分融合在一颗芯片上。不仅在各个特性方面都实现了行业突破的性能,同时也满足了移动端上的低功耗严苛要求。

超前12Mbps蓝牙速率

目前行业内蓝牙SoC平台的最高速率是6~8Mbps,耳机端的最高蓝牙速率为3Mbps。然而,马里亚纳Y达到了超前的12Mbps的蓝牙速率,是标准蓝牙的4倍。即便与当前通用旗舰芯片8Mpbs的蓝牙速率相比,它也达到了1.5倍。在实际的音频传输中,马里亚纳Y可以达到4-5Mbps的有效速率,因此可以满足192kHz/24bit的无损音频传输要求。

超前12Mbps蓝牙速率带来的音质提升,并不仅仅局限于192kHz/24bit,对于其他格式的音频也具有明显效果。因为在实际的蓝牙环境非常复杂,遇到较差环境时为保证连接,势必会被迫降低码率,导致音质打折。12Mbps蓝牙速率可以给像96kHz/24bit、48kHz/24bit等音频提供更大的冗余,从而保证音频始终保持在一个很好的水平。

私有URLC算法实现50%压缩率

为了配合12Mbps超高速蓝牙,OPPO推出了私有无损编解码算法--URLC(Ultra-ResolutionLosslessCodec)。据悉,URLC拥有四大领先优势: 首先,URLC是除了AppleLossless之外唯一支持192kHz/24bit的音频编解码技术,相比蓝牙LEAudioLC3的48kHz采样率,URLC优势明显。另外,URLC将无损压缩率首次提升到了50%,这也意味着通过URLC技术可以实现更小的带宽占用传输同样的音频数据。第三,URLC支持80Kbps~10Mbps动态码率,相比通用方案有更大的调节区间,也意味着在复杂的外部环境中,马里亚纳Y可以通过更精细的码率调节实现更优秀的音质体验。第四,URLC支持在芯片端的音频分离功能,相比市面上大部分基于云端的音轨分离方案,可以实现实时的定制音频效果。

超前590GOPS算力的NPU集成

作为首个集成NPU单元的蓝牙音频SoC,马里亚纳Y的NPU算力达到了超前的590GOPS。此外,芯片内部还集成了一个25GOPS算力的高性能DSP,同样是行业最强DSP之一。相对而言,当前全球最高销量的耳机芯片的算力仅为9GOPS。

在音频SoC中集成NPU可以实现能效和性能的全面提升。横向对比来看,当前音频SoC中传统DSP单元更适合进行音乐播放、EQ调整、编解码等工作。然而,在运行AI算法时,NPU要比DSP更为高效。从系统层面来看,独立的NPU可以提供手机SoC之外的音频专属算力,从而提高了耳机和手机之间的传输实时性。

据OPPO芯片产品高级总监姜波介绍,随着算力复杂度的提升,如果只用DSP而没有NPU,就很难达到好的效果。同样是降噪,也有不同的最终呈现效果,更好的效果要求的算力会更高。目前第三方算法在传统细分领域已经在用DSP+NPU做一些声音的处理,因为它的效果比当前纯DSP的方案要好,这是一个循序渐进的过程。

全球顶尖的N6RF射频工艺

马里亚纳Y的定位是旗舰级蓝牙SoC,因此必须配备最为先进的射频工艺节点。在此基础上设计,才能最终达到符合预期的芯片PPA目标。

N6RF是台积电在去年6月才宣布推出的最新的工艺,是全球第一的射频工艺。而目前采用N6RF工艺的芯片产品凤毛麟角,只有苹果H2芯片、苹果S8芯片中的GPS模块和马里亚纳Y。

任何音乐皆可全景声。凭借上述行业领先特性,马里亚纳Y首次在蓝牙传输中实现了192kHz/24bit无损音频,并且开启了计算音频的全新体验。基于强大的NPU,马里亚纳Y首次在端侧实现了声音分布技术,可以从一段完整的音频数据中,识别和分离人声或其他特定乐器(鼓声、贝斯、其他)的声音。传统上需要多轨的音频工程文件才能实现的事,现在AI可以针对任意一首普通的音乐文件轻松完成;利用这一声音分离技术,马里亚纳Y可以为用户提供下一代的个性化听音方案。

目前基于马里亚纳Y,OPPO提供了两类计算音频的体验。一是自定义全景声,用户可以自由修改AI分离后每条音轨的音量和位置,创造个性化的听觉体验。二是万能全景声,可以将任意普通音频,实时转化成立体声、环绕声或者全景声,形成极具沉浸感的听觉体验。“从应用视角来看,马里亚纳Y这颗芯片设计具有一定的超前性,两年以后它的算力、工艺制程等各方面也会保持一定竞争力。”姜波分享到。

开启芯片自研第二象限,夯实“万物互融”技术底座。作为第二颗自研芯片,马里亚纳Y的意义重大。首先是在计算音频的探索方面,马里亚纳Y的冗余算力,让AI赋能计算音频成为可能,未来更多全新的个性化体验呼之欲出。另外更重要意义在于,这颗芯片代表着OPPO拥有了业内领先的短距射频连接能力,为“万物互融”奠定了硬件技术底座。

探索AI+计算音频的未来。早在2016年,OPPO就通过AI算法实现了前置单摄的人像模式;在2021年的马里亚纳X上,通过AI计算实现了4K视频降噪、单摄准确景深测算等功能;而今天发布的马里亚纳Y,正在探索AI+计算音频的未来。自定义全景声和万能全景声只是马里亚纳Y对NPU和声音分离技术结合的第一次尝试,未来还有更多空间可以探索。

全球领先的科技公司和研究机构,正在积极探索AI如何实现下一代的声音体验。但当前的算法框架更多依赖于云端的计算硬件,有了马里亚纳Y的NPU加持,未来类似的算法在设备端的部署将会成为可能。例如利用声音分离技术,实现更加纯净的通话降噪效果;利用声音分离技术对老电视剧的人物对话进行增强;或是利用这一技术实现随时随地的卡拉OK体验等等。除了这些和音质相关的AI增强优化外,其他一些智能的应用,像音频内容分类、环境感知、自然语义处理等也有望在设备端实现突破。

夯实万物互融的连接基础。此次OPPO未来科技大会上的主题是“致善·三生万物”,而这个“三”,指的就是OPPO硬件(马里亚纳自研芯片)、软件(潘塔纳尔跨端系统)和服务(安第斯智能云)。2019年OPPO未来科技大会上,OPPO创始人兼首席执行官陈明永提出“万物互融”的概念,而今随着安第斯智能云的发布,OPPO硬件+软件+服务的布局正式宣布完成,芯云一体、软硬结合,将为用户带来全新的万物互融体验。

要实现万物互融,低功耗无线连接必不可少。而要追求极致的连接体验和生态融合,选择市场上的通用方案显然是不够的。作为系统厂商对于用户场景的理解更为深刻,能够根据想要达到的实际场景来反推软硬件的定制化方向,而通用芯片厂商则更追求市场统一的标准。姜波表示,“端对端的连接技术是硬件能力里特别重要的基础性技术。”

OPPO强调智能互联,在短距离通信和端到端体验上进行不断探索和优化。马里亚纳Y是OPPO首颗通过私有协议实现连接的芯片,这里面蕴含着OPPO必须要建立好的基础能力。

OPPO持续学习不断进取,致力于造芯之路。去年发布的马里亚纳X协处理器已经在终端体验上证明了自己,出货量更是达到千万级。马里亚纳X代表了OPPO具备了完整的系统SoC能力。马里亚纳Y的发布代表着OPPO掌握了连接能力。两颗高端的自研芯片展现出OPPO的长远思路和极致探索精神。

OPPO在芯片产品定义上始终坚持找到差异化的点,把用户价值放在最优先的位置。姜波也表示:“OPPO自研芯片立足点就是能够为用户带来价值,这也是我们自研芯片的最重要、最根本出发点。” OPPO自研芯片并不是以替代芯片、降低成本为目的,而是因为现有芯片无法满足用户的真正需求。作为系统厂商,OPPO看重的是垂直整合价值,也非常关注用户的体验。

从芯片架构上来看,马里亚纳Y与马里亚纳X有所不同。马里亚纳Y的NPU和MariNeuro架构侧重于音频处理方面,实现了时域的AI推算,同时还要求极高的射频能力。超前的蓝牙传输速率代表着OPPO已经掌握了业内领先的短距射频技术。

在工艺制程上,6nm工艺是一个先进的水平,一次流片费用高达上亿元。OPPO与台积电紧密合作,对其先进的工艺进行前瞻性布局。早在N6RF发布前,OPPO就已经开始了合作,为实际流片过程中的芯片成品达到设计预期目标,芯片后端工程师需要具备专业度。

OPPO的产品布局显然是十分有把握的。马里亚纳X是一颗协处理器,而马里亚纳Y则是一颗完整的蓝牙SoC。从NPU到SoC是更进一步。下一步,OPPO还会推出更多具备AI能力的芯片,让人期待不已。

总体而言,OPPO坚信耐心和客观的研发节奏对于硬件制造非常重要。一个芯片从定义到制造再到用户体验收集及反馈,整个过程也许需要长达两年,而迭代过程则需要更长的时间。OPPO拥有超过2000人的芯片团队,用十年磨一剑的态度来打造更好的芯片。

总的来说,马里亚纳Y作为旗舰级蓝牙音频SoC芯片,让192kHz/24bit的无损音频和蓝牙完美结合从而引领了移动端的极致音频体验;同时,高算力的NPU集成也让人们对未来计算音频效果充满了信心。马里亚纳Y为实现万物互联的基础打下了实惠硬性力量。马里亚纳X到马里亚纳Y的发布,标志着OPPO自研芯片的第二步落地。OPPO自研芯片,坚定长远主义,坚持不懈地探索。马里亚纳是一个极深海域,深不可测,但自研芯片的发布让我们看到了OPPO自研之路希望与光明的一面。