腾讯Turing Lab论文入选ICASSP图像AI研究成果获国际认可

ICASSP?(International Conference on Acoustics, Speech, and Signal Processing)是邦际声学、语音和信号管束集会。是由IEEE主办的全寰宇最大的、也是最周全的信号管束及其使用方面的顶级学术集会，具有巨头、普遍的学界及工业界影响力。历届ICASSP集会都备受AI界限切磋学者的热议和眷注。

此次，腾讯Turing Lab实习室正在邦际舞台全方位涌现了腾讯正在视频质料评判、图像质料评判方面的气力。

Subjective and Objective Quality Assessment of Mobile Gaming Video 近年来，手机逛戏正在整体逛戏商场中霸占的份额已超50%，手逛合联内容也成为社交媒体平台上短视频的要紧构成一面。同时，基于视频流的云逛戏也慢慢吸引了越来越众的用户。跟着这些逛戏合联的视频流媒体身手和任事的旺盛起色，用户对逛戏的质料体验(QoE, Quality of Experience)提出了更高的央浼。唯有对这个视频链道及内容阐扬举办尤其庄重的质料把控，才可认为用户带来更佳的逛戏体验。

画质行为质料体验QoE的要紧维度之一，若何确切地预测人眼感知的画质正在很长一段时期内无间是学术界及工业界切磋的重心及热门。然而，目前多量的已有切磋合键聚焦正在古板的视频内容上，包含PGC内容、UGC内容、以及面向线上集会和共享屏幕等场景的特定内容等。当这些画质评判办法直接使用正在逛戏视频时，机能阐扬通常。

以是，正在本篇论文中，咱们针敌手机逛戏正在云逛戏场景下的画质题目，举办了主观实习及客观算法模子研发的合联事业。咱们先从腾讯前卫云逛戏平台上选拔17款手机逛戏中，并针对分歧场景搜聚了共150段源视频，之后运用众种编码器和编码参数构制出1293段视频。咱们基于ITU合联圭表举办庄重的主观实习，从而获得了全新的针敌手机逛戏的视频质料评判数据集TGV dataset（Tencent Gaming Video dataset）。

正在这篇论文中，咱们提出质料评判模子ERAQUE(Efficient hard-RAnk QUality Estimator)。连合新提出的困苦样本排序吃亏（Hard Pairwise Ranking Loss， Fig1），该模子正在教练经过中可能尤其针对好似的样本对，从而练习到更细粒度的失真音信，进一步提拔模子的机能。正在提出的TGV数据集上，咱们举办了模子教练和比照试验，实习结果阐明ERAQUE模子比拟业界其他质料评判模子阐扬出了更好的机能。

结果，为了让模子以正在端侧更高效地推理，咱们运用学问蒸馏的计划（Fig.2）对ERAQUE模子举办压缩和加快，最终达成ERAQUE模子的轻量化安排，实习结果阐明ERAQUE模子配合提出的蒸馏战术可能使模子正在繁复度和机能之间达成高襟怀度。

Considering User Agreement in Learning to Predict the Aesthetic Quality 近年来，针对图像的视觉美感评判身手正在很众使用场景中阐述着要紧功用，包含图像的自愿化编辑、图像天生、以及正在内容引荐界限等。以是，图像美学评判成为了学术界及工业界热门的切磋课题。

与古板的图像质料评判题目分歧，因为人正在举办美学评判时会引入更众high-level的评判维度，如情绪、画面组织、颜色搭配与调和性等，这也使得美学评判比拟针对失真举办的古板图像质料评判，具有更高的主观性与不确定性(睹Figure 1)。

Figure 1：正在这两幅图中，评测职员对付A图的美感评分具有更高的不确定性（圭表差σ=1.36），而对付B图，评测职员对付美感的评分则趋于相同（圭表差σ=0.59）

正在这篇论文中，咱们提出了变革了的众工作attention搜集（睹Figure 2及Figure 3），可能对输入图像的美学MOS分数，以及代外了该分数不相同性的圭表差举办端到端的预测。正在吃亏函数方面，咱们同时也提出了全新的针对的置信区间排序吃亏（confidence interval ranking loss）,用于促使模子正在教练经过中更众地眷注具有更高美学不确定性的图像对，从而练习到更具有划分性地特质，以及与观测者不确定性更合联的特质。

正在这个事业中，咱们通过多量的实习证实了咱们所提轶群工作练习美学模子不单正在逛戏图像的美学预测中具有浩大上风，同时对付古板的自然内容图像美学预测工作，也到达了很好的恶果。

正在营业层面，以上AI身手均已使用到腾讯前卫云逛戏平台，腾讯前卫云逛戏通过Turing Lab画质评判、众媒体视频质料评判、内容天生及内幕互动等本领，竭力于全方位的提拔云逛戏画质阐扬，打制云逛戏极致的用户体验。

除了正在C端营业的落地之外，正在面向资产互联网层面，Turing Lab的视频质料评判身手也一经通过“腾讯WeTest质料云平台“对外怒放，行业用户可能通过体验Demo迅速体验领会到该身手。

除此之外，正在AI使用上的索求，腾讯WeTest官网近期全新上线了AI任事专区，并同步推出视频画质评判/逛戏内容安静办理计划等产物本领。来日，腾讯WeTest将接续正在科研界限深耕，并竭力于将AI身手前沿切磋与测试场景举办协调，用身手驱动测试以至质料保护行业的起色，并以怒放立场，对外输出出色的身手本领，助力行业的起色。

具有10余年打算机视觉、众媒体、机械练习界限切磋体味，正在人体容貌忖度与重修、图像质料评判、打算照相学、陶醉式众媒体等界限有较深的领会及实战体味，并正在这些界限领导团队举办索求与落地的事业。曾主导腾讯CenseoQoE画质评判计划的摆设与社区开源，主导腾讯前卫云逛戏云端内幕互启程手的研发。其它，正在包含CVPR、NeurIPS、TIP、TMM等顶级集会及期刊上揭橥众篇论文，并为众个集会及期刊控制审稿人及结构者。

17173全新怀旧频道已上线！引荐怀旧网逛，重温老玩家故事。点此进入怀旧频道