电视是技术进步的产物，推动电视媒体发展4K/8K超高清电视是必然的选择。电视媒体正处于从高清向超高清升级换代阶段，要吸取标清向高清发展的经验教训，充分运用5G、AI、大数据和云技术，创新4K/8K超高清电视制播模式，不断优化全媒体制播流程，推动电视媒体向超高清及全媒体转型升级。

1.1 采用虚拟切换技术推进4K/8K超高清电视制作

4K虚拟切换技术是指高清演播室正常制作节目时，HD切换台通过Tally信号将切换时间点、信号源信息和特技类型传输给4K节目合成服务器，合成服务器根据HD切换台传来的相关信息将4K摄像机信号合成出4K PGM。

2017年和2018年，总台研发了4K虚拟切换技术，春晚实现了4K伴随HD制作，如图1。

图1  4K虚拟切换系统架构图

2019年和2020年，总台进一步丰富了4K虚拟切换技术的应用，春晚实现了4K伴随HD直播，如图2。 

图2   4K/HD智能同播架构图

1.2 采用原创混合现实开展超高清电视节目制作

为提升超高清电视节目质量，引入电影的创作模式，提出了原创混合现实（IMR，Idea Mixed Reality）超高清电视制作模式。IMR制作模式秉承“即得即见”的前后期一体化创作理念，运用混合现实、计算机视觉、人工智能、超高清视频和三维声技术，构建了节目、技术、创意和制作为一体的沉浸式创作模式，这个模式是全新的实时特效创作流程，专注于视频和音频特效。IMR制作流程框图如图3。

图3    IMR制作流程框图

1.3 采用虚拟现实网络交互技术提升VR沉浸式效果

虚拟现实网络交互系统（VNIS，VR Network Interactive System），是将全景摄像机拍摄的超高清分辨率视频或图像，通过5G网络传输至包装渲染引擎，回传的VR全景信号与虚拟演播室内带跟踪系统的摄像机信号进行合成渲染，最后将制作好的虚实融合的视频信号传输至演播室，让主持人在演播室内与外场实景进行身临其境的交互。通过此种方式可以扩大节目内容覆盖的场景，将人物合成到任意实景空间，并在多个场景中随意穿越，有效提升了演播室节目制作过程中的多场地交互性，并大幅度提高了VR全景视频虚拟效果。

此外，还可基于5G网络回传多路前方高码率的VR视频流，在后方的VR收录服务器内预先导入高质量精细缝合的VR节目文件，通过VNIS信源切换模块同步完成VR节目视频的直播制作。在音频制作方面，以VR话筒和常规话筒相结合的方式拾取全方位的声场，编辑合成三维声音频，确保三维声音频与VR视频融为一体，提升用户观看VR视频的沉浸感受，如图4。

图4   VNIS制作模式示意图

2.1  AI语音技术

AI语音合成技术（Speech Synthesis）能将任意文字信息实时转化为标准流畅的语音朗读出来，相当于给机器装上了“人工嘴巴”。

AI语音字幕转写系统将传统电视字幕流程简化为语音AI转写、核对修改、字幕生成审核3个步骤，简化了制作生产流程，降低了人工的劳动强度，改变了编辑人员几十年来“拍”字幕工作流程。语音合成的应用，极大地提升节目配音的工作效率，1小时的配音只需要10分钟就可以完成合成，且发音标准、准确率高，机器合成更是可以全天候24小时不间断工作。

2.2  AI图像文字特征提取技术

通过AI对图像文字特征提取来实现节目内容的审核和媒资内容的自动化辅助编目，可以极大地提高了审片准确度和媒资系统的编目效率。

在审片系统中，AI可以自动对字幕中的错别字、敏感词进行识别并提示，还可提供字幕流浏览功能，将字幕以图片瀑布流的形式进行集中展现，帮助审片人员快速浏览节目中的字幕内容。通过引入人脸识别技术，还可以在审片过程中对敏感人物进行识别，并给出提示，提高审片效率。

在智慧媒资系统中，通过AI提供的基于内容的视频标签、人脸信息、文字信息，可以提供更多检索维度和更加丰富的检索手段，查找资源更加方便快捷。有了机器编目数据后，媒资元数据体系中相当一部分可以不再由人工来完成，或者由人工在机器编目数据的基础上来修订完善，编目效率会大大提高，成本会大幅降低。

2.3  AI视频增强技术

AI视频增强技术主要包括：把低分辨放大成高分辨率的空间超分辨技术，把低帧率上转换成高帧率的时间超分辨技术，以及去噪、对比度和色彩调整等技术，其中超分辨是其核心。

AI视频增强技术的一个重要应用是对经典标清高清素材内容进行4K增强处理，以满足当前4K超高清时代下的高画质需求。在缺乏配对监督数据的情况下，基于AI学习模型，进行空间、时间、色彩和对比度等多维度增强，提升视觉效果，让影视经典焕发新生。

2.4  AI+VR演播室制作技术

AI+VR演播室制作技术主要针对VR视觉效果与透视关系进行研究，通过多块异面大屏幕呈现3D背景，主持人在大屏空间内进行节目制作，演播室内容直接呈现在镜头画面中。通过高精度的光学跟踪系统对摄像机进行机位跟踪，能够同步接收镜头参数信息，并实时传递给大屏控制端和渲染端，实现虚实场景相互统一，前后景融合更加自然。

AI+VR演播室制作技术主要包括三个关键技术：一是VR视觉效果和透视关系映射技术；二是物体跟随的空间定位技术；三是基于AI智能分析跟踪技术。

总台在百度世界2020大会上，以最新的AI+VR技术为核心，在现场以三块LED屏实时呈现动态虚拟场景，主持人和嘉宾根据实时画面进行灵活走位，带跟踪系统的摄像机和渲染服务器通过运动数据计算出场景的透视关系，使虚拟世界与现实空间完美融合，具备强烈的视觉呈现效果，在深度互动中以炫酷的舞台视觉表达，为观众带来了耳目一新的直播视听体验。

3.1   5G媒体应用白皮书

为推进5G媒体行业应用，总台联合三大运营商和华为公司共同撰写和发布了《5G媒体应用白皮书（2020版）》。白皮书给出了在媒体制作域的两类媒体应用场景：一类场景是4K超高清视音频直播、新媒体直播、移动云制作、VR制作等业务；二类场景是新媒体分发、视音频文件传输等业务。针对这两类场景下不同业务的具体要求，给出了各个业务对5G网络在速率、时延、稳定性和移动性等方面的技术指标要求。各种媒体制播业务的5G网络构成如图5。

图5   5G媒体应用总体框架图

3.2   5G+4K/8K超高清制播示范平台案例

“5G+4K/8K超高清制播示范平台”是由中央广播电视总台联合中移动、华为等公司共同承担的国家2020年新型基础设施建设工程项目。该示范平台按照“云、管、端”一体化的方式，实现三个方面的功能：

一是将总台体育演播室群升级为图10AI+VR技术应用模式示意图4K/8K超高清电视制播系统，实现总台体育节目电视制播能力从高清升级为4K/8K超高清；建设上海国际传媒港多功能4K/8K超高清电视演播厅，在上海国际传媒港举办的大型活动将全部采用4K/8K超高清电视制作或直播，上海的这个超高清电视演播厅也是总台“超高清制播呈现国家重点实验室”科研成果应用转化平台。

二是上述两个超高清电视制播平台都具备5G+4K/8K接入功能，采用自主研发的5G+4K/8K 移动传输系统（俗称5G背包），可快速部署4K/8K超高清电视直播。

三是上述两个超高清电视制播平台将对接总台4K/8K电视频道、4K/8K互动电视平台、“央视频”及“央视体育”等新媒体平台、以及上海国际传媒港电影城，可实现4K/8K超高清电视电影的直播点播。该平台建成后，总台超高清电视节目年制作能力将达到1万小时。

为推动电视电影的融合发展，“5G+4K/8K超高清制播示范平台”将建设超高清电视影院直播系统和电影文件传输系统。总台2021春晚、欧洲杯和奥运会等群众喜爱的电视节目，在上海国际传媒港电影城都将实现4K超高清电视影院直播的自主播放。

当前，电视媒体正处于转型升级的变革中，这场变革是全方位的，电视媒体要把握发展机遇，充分运用5G、人工智能、大数据、云等信息领域高新技术，积极推动电视媒体向4K/8K超高清电视转型升级。

首先，电视媒体要从实际出发，运用虚拟切换等智能技术，构建4K伴随HD、8K伴随4K的超高清电视制播技术，快速提升4K/8K超高清电视节目产能。

其次，要引入电影创作模式，运用混合现实、计算机视觉、深度学习和三维声等技术，构建原创混合现实制作平台，加快提升4K/8K超高清电视节目质量。

第三，要针对VR视频的特点，运用5G技术构建虚拟网络交互制作平台，加快提升“VR视频+5.1.4三维声”节目质量。

第四，要充分发挥AI语音、AI图像文字特征提取、AI视频增强、AI+VR等技术，加快创新超高清电视生产流程。最后，要将超高清电视制播平台与电视频道、互动电视平台、移动新媒体平台和电影平台无缝对接，建立端到端全媒体制作传播体系和服务体系。

本论文受“超高清制播呈现国家重点实验室”项目资助。参考文献