“虚拟”与“现实”的技术重构与再造——数智技术驱动下的视听内容生产变革

作者：孙蕾蕾

当前，AI（人工智能）、XR（拓展现实）等多个引领未来的前瞻性、战略性技术相继出现迭代创新，新的主导技术体系正在形成，加速传播格局变革、产业周期迭代，广电行业面临着生产力和生产关系的重塑。

数智技术与主流媒体创意内容生产的深度融合已是大势所趋。以5G、8K、AI、XR、VR/AR、元宇宙为代表的技术基础，已成为主流媒体再造生产与传播底层逻辑的核心要素。用技术赋能创意内容生产，用艺术助力创意表达、情感共振，已成为视听爆款产品的创新方向。

智能时代的视听创意内容生产呈现出融合交互、虚实融生的特点，具体体现在两方面，一是内容与技术的融合交互，二是艺术与科学的融合交互。

一、内容与技术的融合交互：数智技术重构内容生产模式

近期以来，随着生成式人工智能的崛起，AIGC正在加速视听行业数字化、智能化的转型升级。越来越多的广电媒体正在积极探索AIGC在行业内的应用。AIGC将为广电的创意策划、信息获取、创意内容生产、渠道分发、运营推广、效果评估、内容治理等各环节提供数智化的解决方案。随着以ChatGPT、MidJourney为代表的AIGC应用的爆发式普及，AIGC技术逐渐被广泛运用在图像生成、文本生成和音视频生成等艺术创作领域，掀起创意内容生产范式及传播生态的巨大变革。

AIGC是继PGC（专业生产内容）、UGC（用户生产内容）之后媒体内容创作的一次飞跃。AIGC开创了模型主导内容生成的时代，使机器参与到内容创作中，助力提升采编效率，带来了更加丰富多样的内容和全新的视觉化、互动化体验。在影视行业剧本创作环节，ChatGPT能够生成各种各样的故事线，其他AIGC工具还可以生成动画，或者生成已经去世或者年老的演员的模型，让他们再一次出现在荧幕中。

随着生成式AI的崛起，传媒业进入到传统内容创作与人工智能内容生成并行、“人机共创”的新阶段。AIGC的应用使创作过程发生了“去主体化”的变革，生成式AI以非人类要素的方式加入到创意内容的生产环节。在“人机共创”的新语境下，创意内容生产方式由过去的人工创作转变为人类与AI协同工作。这带来一种颠覆人文主义原创观念的“后人类视角”，意味着人类要素与非人类要素开始在内容生产中占据平等地位。

（一）数智技术赋能内容表达，“场景化”焕新用户体验

近年来，随着各媒体创意生产机构更多地将虚拟现实、虚拟仿真技术、人工智能技术融入内容产品，创新节目形态，在传统的视听节目形态之外，涌现出许多数字内容产品。通过搭建数字场景，这些数字内容产品更加注重凸显用户体验和产品的交互性。整体看来，数字场景下的电视内容创作正向着用户创造空间叙事、内容游戏化虚拟化、体验全真升级的方向转向[ii]。许多专题节目在历史叙事中，更多地借助前沿技术制作虚拟场景，进行情景再现。在湖南卫视推出的党史微纪录片《百炼成钢 · 党史上的今天》第一集开场，主持人在讲述毛泽东等人召开新民学会新年会议这一事件时，由于缺少新闻资料画面，主创团队就制作了书社的虚拟场景，进行再现：主持人推门而入，进入书社虚拟场景中，站在书社院内，对当时的历史事件进行“沉浸式讲述”。

主流媒体在新媒体内容生产中，越来越多地将多种智媒技术“混搭”，以新技术赋能内容表达，以“场景化”焕新用户体验。许多创作团队运用实时渲染+广泛兼容+可视化的AR、VR、XR技术，不断升级用户体验，打造“场景化”的沉浸体验。随着生成式人工智能的崛起，AIGC助力虚拟场景生成，降低了元宇宙场景的创作门槛，内容产品的“沉浸式”“可交互”特征进一步凸显。

比如，湖南日报社与趣看联合出品的《AI两会：青春90会客室》系列栏目采用自主研发的XR虚实融合沉浸式互动演播系统进行全流程虚拟制片，后期制作前置化保证了实时可视化和实时3D渲染集成，不仅让虚拟数字空间场景更加沉浸化，也使得虚拟资产仓库得以多样化复用。央视新闻通过《VR绘制丨沉浸式体验中国式现代化图景》与受众共绘美好发展图景，使受众感受身边的中国式现代化。在融媒体节目《两会你我他》中，央视新闻《相对论》记者庄胜春体验了总装空间站的“黑科技”，庄胜春戴上AR眼镜后，看到景象“虚实融合”，天空和核心舱的电缆线路都能清晰呈现。中央广播电视总台CGTN针对Z世代受众，推出一款融媒体游戏交互产品《中国故事盒子》，产品运用AR/VR、网页3D引擎等沉浸式体验技术，打造出一个个沉浸式三维场景，以“游戏化”“场景化”创新，实现了“在游戏中互动、在互动中观影”的全新观赏体验。此外，总台在推出的一款沉浸式新型云互动产品《云逛展·三星堆来找国宝》中，首次将Unreal Engine技术运用到云互动H5游戏中，对三星堆发掘现场进行了高逼真度的还原，搭建出全方位沉浸式的三星堆，使观众只需一个H5链接、一部手机，就能零距离感受三星堆文化的神秘与震撼。在常规的VR游戏中，玩家只有固定的走位点，但在这款产品中，玩家可以通过操控两边的虚拟摇杆，在“云考古”的拟真游戏世界中实现自由移动及视角切换。

（二）数智技术赋能重大主题报道与主流价值

随着AI技术在新闻传播领域发挥的作用日益全面、多元，AIGC被广泛应用于重大时政报道中。各主流媒体都在尝试利用人工智能技术，融合报道语态，创新智能互动模式，提升新闻报道的采编效率和传播效果。AIGC成为记者的创作工具，记者可以用它进行智能绘图、云端剪辑。在今年的全国两会报道中，多家主流媒体将主流价值观与Z世代审美需求结合，运用AR、VR、XR等扩展现实技术、实时渲染合成虚拟和现实影像，打造出一批访谈、综艺、直播爆款融媒体产品，实现了主流媒体重大主题报道的“破圈”。

总台央视新闻采用AIGC技术和3D超写实数字人，创作推出《开局之年“hui”蓝图》等系列融媒报道，采用百度文心一格AI绘画技术平台，生动描绘出农业科技、未来生态、能源科技、数字科技的全新蓝图。大众日报推出《两会特别策划｜AIGC眺望未来山东新模样》，创新运用AI绘画对今年政府工作报告中的山东实践进行解读，并创作生成描绘山东未来向“新”而行、向“绿”转变的新图景，为观者带来极富美感的场景化阅读。

为打破用户对两会报道“硬核”“晦涩”的刻板印象，各媒体还积极运用新技术，创新柔性语态表达，传递主流价值观。部分媒体运用SVG技术进行融媒体样态的转换，以SVG/GIF融合诗词、音乐、戏剧、舞蹈等中华传统艺术形式的柔性化表达，“软化”两会主题报道的“硬核”，打造出兼具思想深度与趣味性的内容产品：如法治日报社推出的系列创意互动产品《2023两会“拼”》，采用SVG交互技术+拼字/图+手绘的融媒体表达形式，集互动、收集、分享等多重功能于一体，将两会“热词”融入一笔一画、一图一绘，实现了新闻作品从静态到动态、从可读到可动的变化感，将两会热点更加直观地传递给用户，增添了两会内容传播的互动性、趣味性；大河财立方推出的创意长卷《千里中原新图卷》，以《千里江山图》为创作原点，描绘了中原锦绣山河及18城大项目的整体概况，通过SVG动画及视频等数字技术，辅以诗词，让这幅画卷“动”了起来。随着一幅《千里江山图》徐徐展开，观众可以沉浸式地观看到河南各地各大项目的进展情况。

二、艺术与科学的融合交互：数智技术赋能艺术表意

智能时代视听创意内容生产的融合特点，还体现在艺术与科学的融合交互。科技创新永远是艺术创作、内容创新的不竭动力。近年来，技术与艺术的创意融合，正越来越深入地引领创意内容生产的创新方向。技术赋能艺术，孕育出新的技术美学与审美经验。创作者运用VR动画、虚拟现实等沉浸式技术，通过动画场景设计中的色彩、光影、空间透视、镜头运用，营造出动画的视效沉浸感，构建起一个平行于客观现实世界的视觉空间，为审美主体营造出沉浸式体验。

“沉浸”是在欣赏影视作品过程中产生的一种审美体验，这种审美体验，是当观众处于难以分辨所处虚拟与现实世界之时，下意识所产生的一种心理效应。“沉浸感”来自于将物理世界与虚拟世界之间的界限予以模糊的数字技术。制作者运用虚拟与现实融合的视觉沉浸技术，以虚拟系统（包括图像、声音或其他刺激物）环绕用户的方式，为审美主体营造出的“沉浸感”，是一种与现实世界高度相似的仿真环境，使受众产生犹如置身现场的真实感。“沉浸”已成为智能时代视听艺术的一个重要审美特征。随着虚拟现实技术、生成式AI在影视制作领域的应用，打破了“虚拟”与“真实”之间的边界，创造出融“虚拟”与“真实”为一体的新的美学形式、视觉经验与情感体验，使审美主体形成新的“沉浸式审美”体验。

▲《艺术里的奥林匹克》

从审美经验方式上说，数智时代传播生态下的媒介受众已从传统的接受式审美转向了更具能动性的介入式、参与式审美。比如《艺术里的奥林匹克》运用动画、3D建模技术、实景再现等技术，赋予静态的2D壁画以丰富多姿的动态，逼真还原了敦煌壁画与历史事件。为了将敦煌壁画中已略显斑驳的图景清晰地呈现在画面中，节目组通过动画制作技术，对壁画中的竞技者用清晰的线条进行了勾勒描摹，让每一处笔法都跃然屏中，生动展现了古代艺术中的马术、摔跤、游泳等竞技运动之美，使观众犹如置身于敦煌石窟。在《马术图》这一集节目中，主创团队运用数字动画、3D建模技术赋予人和马鲜活的动态，还运用“实景音效还原”技术，加入万马奔腾的蹄声、骏马的嘶鸣、急促的车铃声等音效，生动还原了清朝名画《马术图》所描绘的一场皇家马术表演盛景。

▲《飞向月球》第二季主题海报

总台社教节目中心闫东主创团队推出的4K 超高清科学纪录片《飞向月球》，制作出一个全虚拟、高仿真的数字宇航员作为讲述人，这也是全球首个AI超写实数字航天员。主创团队将该片情景再现的核心要素定为两点：一是高仿真沉浸式；二是高质量全4K。借助4K超高清这样的高动态、HDR和宽色域，主创团队通过仿真物理渲染、实时光效和环绕声，使探月当中的斗转星移、日月交辉，呈现出震撼的质感和层次，让观众感受到强烈的真实感，仿佛置身宇宙，漫游在浩瀚的星际间。

▲虚拟动画：AI超写实数字人物与嫦娥五号“亲密互动”

全新数字审美空间和沉浸式审美范式的构建，使观众在审美经验上得以突破传统的“静观”模式，转向更加丰富细腻的“感官体验”，充分调动自身的审美知觉，以审美直观的方式，拓展视听维度，更加丰富立体地“感知”艺术，“体验”历史。可以说，在数智创作语境下，审美主体在多大程度上感悟到艺术作品的审美价值，将更多地取决于技术营造的拟态环境的逼真度和沉浸度。近年来，许多文化综艺类节目运用虚拟技术，打造出虚实互动、亦真亦幻的舞美效果，构建新型沉浸式观赏体验。比如《经典咏流传·大美中华》借助AR、裸眼3D、全息影像等前沿技术，将现实舞台与虚拟场景融为一体；《2023中国诗词大会》将XR 、AR、VR等前沿技术应用于特效制作，突破时空界限，成功还原出“敦煌飞天”、“九色鹿”、《清明上河图》北宋街市等多个经典场景和意象，营造出沉浸式的观看视角与感知体验；《中国考古大会》运用AI+VR、裸眼3D、扩展现实制作系统、物体跟随空间定位、AI动作捕捉等技术，实现了主舞台实景和XR空间副舞台虚拟元素之间的互动，营造出类似考古主题XR游戏的视觉效果；《大师列传》首次使用270°绿箱，结合实时渲染的虚拟场景、沉浸式演播室，以及AR、VR、MR、3D建模技术，将2D经典画作转换成流动的风景，使观者犹如身在现场，能真切感受到云烟明晦、鸢飞鱼跃的山水意境和变幻多姿的艺术意象。

总之，以技术创新驱动，在主流媒体重大主题报道的融媒产品开发、纪录片的影视特效制作、综艺节目的舞美效果呈现中，已经彰显出强大的功能。创作者要保持对技术的敏锐洞察，始终站在技术前沿，深入到科技系统和场景中去，将技术与内容生产紧密融合，将科技与艺术紧密融合，不断更新方案和流程，积极探索新的内容生产方式，推动技术更加高效地转化为内容生产力。

三、数智技术驱动下的视听语言与叙事生产模式变革

在大众传播媒介的迭代与演进中，内容经历了从文字到图片、再到视频的发展历程。随着生成式AI将人工智能生成内容引入到媒介创意内容生产中，内容生产形成多模态的内容传播体系，视听创意内容生产迭代升级为数量庞大、生产主体多元、传播渠道丰富、形式多模态的复杂样态，视听产业进入到“多模态传播”时代。随着元宇宙和人工智能技术被纳入到电视艺术创作实践中，视听语言的结构方式和叙事生产模式发生了颠覆性的变革与重构。

（一）视听语言结构与叙事生产模式的变革：虚实重构

首先，视听语言的结构方式——镜头语言的构成发生了颠覆性变革。虚拟镜头正在成为纪实镜头之外的新的镜头语言。传统的镜头语言是由摄像机拍摄而成的实拍镜头一个个剪辑起来的。智媒时代的电视镜头语言，开始突破纪实本体，越来越多地使用虚拟画面。借助数字技术、生成式人工智能，图像、视频等视觉传播介质实现了更多智能化的应用场景。电视制作者正越来越多地使用5G、VR/AR、动画特效等技术手段和多模态融合的文化叙事方式，将虚拟场景与现实舞台相融合，将纪实手法与虚拟画面相结合，进行内容生产。由3D技术、动画特效技术、元宇宙、生成式AI制作出的虚拟镜头，开始更多地参与到影像叙事中。

智媒时代的视听语言已经摆脱了单一的实拍镜头结构，转向“虚拟+实拍”的构成，呈现出“虚实互动”的特点。电视艺术创意生产也由过去单向灌输的闭环模式转向了更具交互性、体验性、对话性的双向模式，趋向“可视化交互”。比如在总台《国家宝藏》（第三季）播出的敦煌莫高窟节目中，主创团队采用虚拟技术对经典的动画形象九色鹿形象进行了三维转化，制作出虚拟“九色鹿”。借助虚拟技术和全息投影，虚拟“九色鹿”和真人扮演的“常书鸿”之间实现了“虚实互动”，完成了惟妙惟肖的对手戏。视觉导演在播控软件中，通过节点操纵虚拟九色鹿的一举一动。在节目现场，制作团队在饰演常书鸿的演员辛柏青面前放置了一块LED屏幕，使他可以通过LED屏幕看到自己与虚拟九色鹿的位置关系，再通过助演进行声音配合，完成与虚拟九色鹿之间的动作与对话。

▲《国家宝藏》（第三季）中虚拟技术制作的“九色鹿”

其次，传统的叙事生产模式被打破，以“纪实+虚拟”、“实拍+制作”为代表的新的叙事生产模式已然形成，“原创混合现实”、“前后期一体化”的创作方式正在成为影像制作的主流模式。比如4K超高清科学纪录片《飞向月球》，从第一季到第二季，先后实现了数字虚拟特效制作在节目中的应用和原创混合现实 IMR（Idea Mixed Reality）超高清电视制作平台的搭建。IMR 是原创混合现实、后期前置、前后期一体化的创作方式。《飞向月球》在创作中，完全把电视技术人员和节目主创整合为一个团队，采用4K 沉浸式拍摄系统、4K+AI沉浸式视效创作系统，将混合现实应用到了4K超高清电视制作中。通过《飞向月球》的创作实践，总台创新原创混合现实电视制作模式，为4K超高清电视技术体系建设探索出新的发展方向。

（二）人机智能交互内容产品的模式创新：“智能互动+共情”

随着移动互联网与交互技术的跨越式发展，以人机智能交互、人际同步交互、群际异步交互为代表的内容产品，实现了现实与虚拟“相互弥合”的情感互动。其中，“虚拟数字人”作为一种重要的人机智能交互内容产品，以“智能互动+共情”的模式，改变了传统的报道方式，为用户带来全新的交互体验。

2021年，江苏卫视打造的国内首档原创动漫形象舞台竞演节目《2060》，凭借前沿的虚拟技术应用火爆出圈。《2060》融合了虚拟技术与电视舞台艺术，以“赛博中国风”阐释传统文化，将传统文化带入到二次元领域，引入“全虚拟场景”概念和“虚实交互”环节，实现了“虚拟偶像真人秀”的本土化创新，开辟出元宇宙品类的全新赛道。《2023中国诗词大会》主创团队基于古籍及历代名画当中对苏轼样貌的描绘，用现代虚拟仿真技术，制作出虚拟数字人苏东坡，并设计了他与真人扮演的历史人物黄庭坚对话的情节。作为古籍数字化技术创新的重要成果，虚拟数字人“苏东坡”为传统文化的当代化创意表达开拓出新的美学路径。

▲《2023中国诗词大会》中的虚拟数字人“苏东坡”

随着AIGC技术的成熟，超写实3D虚拟人迎来全新的发展契机。在2023年全国两会期间，多家主流媒体将智能化和虚拟数字人技术结合，以虚拟主播“活化”新闻报道中，AI虚拟主播成为亮点，让“两会”这一严肃的新闻内容具有了“创意感”和“亲和力”，吸引了更多年轻群体的关注。在两会报道中，总台央视频推出的超仿真主播“AI王冠”、SMG融媒体中心推出的虚拟主播申?雅、《最高人民法院工作报告》推出的虚拟讲解员“正义”等人机交互式对话产品，通过语音合成、文本驱动、通用NLP大模型等算法和技术，以实时云渲染形式推送给每一位用户，实现了虚拟数字人从“感知”到“认知”，再到“表现”的完美融合。

在全国两会中，山东广播电视台推出了首个超写实数字主持人“海蓝”，与短视频机器人、数据新闻机器人、二次元虚拟主播“小妮”一起，与代表委员们同台互动、跨屏对话；云南广播电视台推出的虚拟主播小彩云，与真人主播大权一起合作完成了“热搜两会”版块，借助艾迪普iSet数字媒体虚拟场景合成工具和iArtist实时三维可视化创作工具。通过动捕设备采集真人的身体数据接入到iSet数字媒体虚拟场景合成工具中，实时驱动“小彩云”虚拟主播肢体运动，用户可以基于一套工具，实现虚拟角色与真人主播实时互动的MR效果；总台央视网推出的全国两会先锋谈话XR直播节目——《中国神气局》中，启用了数字虚拟主播小C，小C与全国人大代表、不同领域的学者一起，对当下热门的科幻、人工智能等话题展开讨论。节目在XR实时虚拟制作技术和数字人驱动技术的助力下，营造出沉浸感，为用户描绘富有想象力的奇妙体验。这种利用“虚拟主播+真人代表”跨次元携手互动、报道两会的宣传模式，大大增强了报道的科技感、可视性和趣味性。

在未来，数字虚拟人的应用场景将更加多元化，报道中将会更多地采用以数字人联动、真实虚拟交互、虚拟全息投屏融合真实视频的形式，对人物、场景进行还原，使用户得以近距离、多方位、多视角地体验报道产品。

四、结语

当人们探索AI、XR等前沿技术与视听艺术的融合延伸时，新的想象之门已然开启。随着元宇宙和人工智能技术被纳入到电视艺术的创作实践中，“虚拟”与“现实”的边界被彻底打破，一种基于虚实互融、智能生成、沉浸交互的新型数字艺术景观正在生成。数字智能技术的创新迭代，为传媒生态、内容生产范式、视听语言结构、叙事生产模式等带来颠覆性的变革与重构，并推动形成虚实互融、沉浸交互的新技术美学与沉浸式审美经验范式，将人类社会推向高度智能化、交互化的沉浸式传播时代，使人类从“媒介化生存”转向“沉浸化生存”。借助科技，艺术正在通过感知与想象的方式被新的视听语言重新发明。作为当代大众文化最直接反映形态的电视艺术，如何在数智技术的谱系中找到新的语法与修辞，继而完成主体与叙事、美学与价值的重构，将成为一个充满挑战和想象力的时代命题。

（本文系国家社会科学基金项目“电视媒体虚拟现实媒介叙事手段建设与创新研究”（项目编号：22BXW076）阶段性研究成果）

（作者：孙蕾蕾，中央广播电视总台社教节目中心主任编辑、导演，河北大学新闻传播学院硕士生导师、河北省城市传播研究院研究员、中国民族学学会影视人类学分会理事）