2022年3月25日
By 1月时特约编辑
专题文章

视频编解码器的现状2022

在这个2022编解码器更新, 我将列出去年与H有关的最重要的公告.264, VP9, HEVC, AV1, 通用视频编码(VVC), 低复杂度增强视频编码(LCEVC), 和基本视频编码(EVC). 编解码器有很多，但篇幅有限，所以我将简要介绍. 如果你觉得我错过了什么重要的事, 请在这篇文章的在线版本中添加评论.

H.264

H.264是最接近通用编解码器的, 这就是为什么在Bitmovin的“2021年视频开发者报告”中," H.264的使用率实际上从2020年的92%下降到2021年的83%. 这一数据得到了Rethink Technology 研究的“媒体”预测的支持 & 娱乐转码工作量和设备版税预测2020-2030”，其中有H.264的使用量从2020年占所有流量的80%左右下降到2030年的25%左右. 我们都知道H.264的使用率必然会在某个时刻下降，而且似乎已经开始下降.

为了给本文的其余部分做铺垫，我分享了Bitmovin报告中的一个图表(参见图1)，其中显示了调查受访者计划在2022年添加的新编解码器. 请注意，受访者包括整个视频编码和交付生态系统的代表, 所以即使很少有出版商在2022年部署VVC或EVC流媒体, 编码和其他将最终部署这些编解码器的服务似乎正在将它们添加到自己的技术堆栈中.

图1. 开发者计划在2022年添加的编解码器，来自Bitmovin“2021年视频开发者报告”(go.bitmovin.com/video-developer-report)

VP9

实现新编解码器的最大挑战之一是它们引入的额外复杂性, 这意味着编码成本的增加. 对于像YouTube这样的大型服务来说尤其如此, 因为他们需要先进的编解码器来降低流媒体成本，避免“破坏”互联网. YouTube长期以来一直在4K和大容量内容上使用VP9, 而是用软件编码, 使用比H多5倍的计算机百家乐软件.264.

2021年4月, 谷歌宣布发布Argos视频转码芯片, 与以前的服务器设置相比，它的计算效率提高了20 - 33倍. 每个芯片包括10个编码器核心，“可以实时编码2160p”, 使用三个参考帧高达60 FPS,Data Centre Dynamics表示. 正如在流媒体学习中心2021年8月的文章, YouTube现在使用VP9来制作观看次数只有几千次的视频, AV1专用于3级视频.500万左右的观看次数.

在版税方面，谷歌一直坚称VP9是一个开源且免版税的编解码器; Sisvel，用它 VP9专利池,不同意. 2021年12月, Sisvel宣布松下签署了使用VP9的许可协议, 将持牌人的总数用于下面提到的VP9和AV1池 to 30.

HEVC

HEVC没什么可报道的, 谁仍然是客厅之王, 特别是当它涉及到高动态范围(HDR)内容. 虽然在杜比视界中有很多关于AV1和其他编解码器支持的讨论, HEVC仍然是杜比视界文件中唯一支持的10位编解码器. 后面会讨论到, 尽管Netflix确实赚了一大笔钱, AV1-in-the-living-room公告, 它还表示:“我们正在探索的另一个令人兴奋的方向是带HDR的AV1,这意味着HDR还没有出现.

然而, HEVC没有进入传统上疲软的浏览器市场, 与Can I Use reporting只有一个19.全球浏览器的可用性，几乎只在苹果产品中. 相比之下，Can I Use报告AV1在72上可用.89%的浏览器(苹果是最大的遗漏), 超过95%的浏览器都支持VP9.

浏览器不支持HEVC并不妨碍优质内容发布者, 哪些应用程序可以在大多数平台上使用HEVC播放, 但这使得HEVC无法用于面向广泛受众的出版商, 基于浏览器的回放. 在HEVC完成9年后，Chrome和Firefox仍然缺乏对HEVC的支持，这也预示着本地浏览器对新的基于标准的编解码器(如VVC)的支持并不乐观, EVC, 和LCEVC.

AV1

2021年与AV1相关的最重要公告是Netflix的博客文章《百家乐app下载》,，这实际上是在宣告，客厅已经为AV1做好了准备. 这是一个支持设备的简短列表——六款经过认证的三星智能电视, PS4职业, 选择亚马逊Fire电视设备, 并选择安卓电视设备-发表在边缘似乎与这种说法相矛盾, 前面提到的Netflix目前的AV1产品缺乏HDR支持也是如此. 有一个HDR10+ AV1规范草案和杜比视界支持的讨论, 但如果没有在相关设备上完全实现HDR支持，就很难成为客厅之王, 而AV1目前似乎没有.

也与电视有关，是对欧洲DVB电视的更新规范预计将在2022年初推出，它将包括三种编解码器:AV1、AVS3和VVC. 这一点，以及内容支持来自开放媒体联盟(AOMedia)成员, 似乎可以确保AV1将包含在大多数(如果不是全部的话)符合即将到来的标准的电视机中.

在移动领域, 大卫Ronca, 之前在Netflix工作，现在在Facebook工作, 据YouTube视频报道，他预计(AOMedia预测)将在2020年部署的硬件AV1解码器被推迟了, “所以在2023/2024年之前，我们可能不会看到硬件出现在任何有意义的水平上，我们会在2026/2027年之前看到硬件解码器在移动市场达到临界规模。图2). 而不是, Ronca希望到2024年，软件解码器可以为大多数Android设备提供高效的720p60解码.“这, 再加上苹果缺乏AV1支持, 使AV1手机画面相当暗淡, 不过请注意，Netflix自2020年初以来一直在向安卓手机提供AV1.

图2. 在一个 YouTube视频大卫·隆卡与约翰·波特菲尔德分享了关于硬件AV1解码在移动平台.

相比之下，在浏览器中发布标准动态范围AV1几乎是板上钉钉的事. 然而, 大概是由于编码的成本, YouTube将AV1的部署限制在观看次数超过3次的视频上.500万左右，如前所述. 一般来说, 你不得不假设，如果YouTube(和Netflix)负担不起观看人数较少的视频的AV1, 大多数其他制作人可能也做不到. 报告见流媒体学习中心, 有几个AV1硬件编码的选择, 怎样才能让所有人都负担得起AV1编码.

在WebRTC市场，谷歌宣布为Chrome和思科推出AV1编码器添加 AV1编码器到Webex, Millicast宣布了一款用于其webbrtc生产环境的AV1编码器. 显然，为2Mbps的720p优化的编解码器与4K优质内容几乎没有关系. 尽管如此，也许基于软件的高效AV1编码还是有希望的.

amedia声称，和VP9一样，AV1也是开源的，而且没有版税 Sisvel AV1授权计划似乎表明情况并非如此. 在2022年2月，Sisvel报告说，它的总数 AV1和VP9 持牌机构已达30家.

这就把我们带到了三种新的MPEG编解码器.

VVC

在质量方面，我将VVC与AV1、HEVC、H进行比较.264 . 2020年末在2021年底，我将VVC与这些编解码器加上EVC和LCEVC进行比较. 总的来说，VVC是目前最有效的编解码器, 虽然它也是最复杂的编码和解码. I tested Fraunhofer's VVC implementation in both 文章; those interested in a more complete view of VVC quality should check out 莫斯科国立大学的2021年报告.

在部署方面, 采用基于标准的编解码器涉及许多里程碑, 特别是对于VVC和EVC等, 这可能需要手机和客厅平台上的硬件加速解码. 版税必须设定, 然后，必须开发芯片并将其集成到零售产品中，以便部署和使用, 一段时间后, 达到临界质量.

在芯片和集成方面，AV1是经过这个周期的最新编解码器. 供参考, AV1于2018年完成, 第一批电视和OTT设备出现在2020年, 市场达到了临界规模, 至少对Netflix来说是这样, 2021年末. So, 在最好的情况下, 从最终定稿到推出首个零售产品需要2年的周期，然后再过一年，直到相关产品达到目标所需的临界质量.

VVC于2020年6月定型. 在版税方面, 2021年初, 媒体编码产业论坛宣布将会有两个专利池, 由访问之前和MPEG LA管理. 访问之前宣布去年的版税条款，以及MPEG LA 他们在二月份宣布了他们的计划.

在硬件解码方面，已经公布了两种实现. 2021年7月, Allegro宣布其AL-D320视频解码器半导体IP核支持最新的VVC/H.266格式. 根据Allegro, 该解码器“可立即由SoC供应商集成”,“因此，在部署之后，才会有带有解码器的实际芯片. 2021年11月, 联发科推出了Pentonic 2000, 该公司声称“这是第一个商用8K电视芯片，具有多功能视频编码(VVC) H.266媒体支持.联发科进一步表示，该芯片将支持开箱即用的杜比视界，并预计搭载该芯片的智能电视将于2022年在全球市场推出.

假设联发科是正确的, 我们预计首批VVC电视将于2022年上市, 这意味着可寻址设备的临界质量将在2023年末或2024年的某个时候可用, 对于服务提供商指定提供的机顶盒的绿地部署来说，更快.

计算机和移动设备上的软件解码呢? 当然, 对于Chrome和Firefox缺乏预期的浏览器支持，有一些变通的办法, 应用程序开发者可以在他们的应用程序中使用任何他们想要的编解码器. 当然，问题在于所需的CPU能力和对电池寿命的影响. 优酷和百度等公司完成了几项有趣的试验腾讯以及联合视频专家小组(JVET)对软件解码器性能的其他记录试验，这些试验看起来很有希望, 但, AV1除外, 编解码器很少部署在没有硬件解码的移动平台上.

新的编解码器也受益于电视相关标准的纳入, 近年来，VVC和LCEVC都在巴西进行了整合 TV 3.0项目(见图3). 如前所述，VVC还将包括即将推出的DVB规范.

图3. 巴西的下一代电视机将包括VVC和LCEVC.

这些加起来是什么? 在美国生活很难.S. 而不是美国.S.以美国为中心的观点认为，像Netflix这样的amedia内容供应商, YouTube, 亚马逊, Hulu将决定编解码器的采用, 短期内，这些公司都不太可能支持VVC. 然而, 外面的世界很大, 阿里巴巴(旗下拥有优酷)和腾讯等公司也有自己的云分发系统，似乎更青睐VVC. 当然，与EVC或LCEVC相比，VVC背后的努力更加多样化. 话虽如此, 很难想象，对于那些不在金字塔顶端流媒体公司工作的工程经理来说，有什么场景会把VVC支持推到2022年待办事项清单的首位.

LCEVC

LCEVC是一种不同于VVC和EVC的增强型编解码器. 它在编码和解码方面更加轻量级, 因此，它确实不需要专门的硬件来实现这两个功能(参见 go2sm.com/testingevc). V-Nova, 它是LCEVC技术背后的公司，也是其最大的推动者, 解决了移动设备和基于浏览器的计算机播放的大部分部署问题吗. 例如，V-Nova可以在HTML5播放器(如HLS)中提供播放.. js、Shaka Player和Video.并且已经为iOS和Android平台发布了支持lcevc的应用程序.

2021年初，V-Nova 发布版税结构, 它适用于一个上限, 使用编解码器的流媒体服务的每用户费用较低，编码器和解码器供应商免费. 这就把版税负担放在了接收带宽节省的公司身上，并简化了编码和播放生态系统的采用, 虽然可能不是amedia的成员.

您可以阅读各种lcevc相关公告, 主要涉及评估测试和MPEG验证测试, at lcevc.org. 其他新闻包括与Harmonic, Southworks和Red5 Pro的集成. 在我关于LCEVC测试的文章中, 我用x265作为基础层测试了LCEVC, 它果然如约而至, 提供比x265更好的质量和优越的编码/解码效率. 我计划用AV1作为网络研讨会的基础层来测试LCEVC 这个页面包含到网络研讨会和任何下载的链接.

EVC

在MPEG于2020年发布的三种编解码器中，EVC经常被遗忘. VVC有很多标杆父亲, 促进, 生成试验部署, 并创建编码和解码硬件. LCEVC有一个非常响亮的母体，V-Nova，使它成为聚光灯下的焦点. 相比之下，EVC有三个主要贡献者了三星, 华为, 和高通——它们似乎更关注于最终确定和改进技术，而不是营销和部署技术. 如果你扫描2021年6月前的EVC活动，并将其与VVC进行比较, 您将了解每种编解码器的比较商业化相关活动. 我找不到任何关于支持evc的芯片即将问世或正在研发的公告.

EVC于2020年4月完成，尚未公布版税政策. 真正的, 贡献者同意在创建编解码器时使用2年的时间窗口, 但在版税政策方面，越快越好, 而且只有三个贡献者, 有人认为2年的目标是一个外部限制, 不是实际目标.

I EVC测试 2021年12月, 还有VVC和LCEVC, 开源的编码器和解码器提供了非常好的质量和编码/解码效率. 这项技术令人印象深刻, 但是，制造一个更好的捕鼠器只能让你到目前为止没有积极的产品化. 当然, 三星, 华为, 高通可以带来大量的营销百家乐软件, 但到目前为止，我们还没有看到这种情况发生的证据.

[编者注:简·奥泽(1月时)是Sisvel营销及相关事务的顾问, 他偶尔会为V-Nova提供测试和其他相关服务.]

[本文经过修改，以正确反映David Ronca对移动设备硬件解码的评论]

本文首次发表于2022年流媒体行业资料手册.