“欢迎来到真实的世界” | 《沉浸式虚拟现实跨媒体展演工程系统开发》获国家科技创新工程项目结项，赋能“艺术AI”

激励创新艺术人才培养

将科研成果转化为文化生产力

2018-2021

三场虚拟展演

一项展览

一场研讨会

一本著作

三个数字资产库

……

虚拟与现实的碰撞

科技与艺术的交融

伴随科技哲思的艺术创作历程

《黑客帝国》中那句“欢迎来到真实的世界”，预示着数字技术的仿真图景和它的超真实所指，不可避免地闯入到科技哲学的视野当中。

真实与虚拟，地图与大地，这一连串的终极哲思时时萦绕在人们心中。数字技术时代，人类何以存在？

为了回答这个时代抛出的问题，上音数字媒体艺术学院代晓蓉教授及师生团队，在数字媒体虚拟交互技术研究及艺术实践方面进行着不懈的努力。

代晓蓉教授为英国诺丁汉大学信息科技硕士、上海音乐学院音乐数字媒体艺术设计博士，上海市优秀青年教师，数字媒体学院副院长、学科专业带头人。她主持了十余项国家及省部级科研项目，其中《数字化剧场表演艺术的理论与艺术实践研究》获国家社会科学基金资助。本世纪初以来，从事了大量数字媒体艺术创作活动，在近二十部大型舞台剧作品中担任多媒体设计、视觉总监，参与创作的作品获得文化部创新奖、多媒体创意设计优秀奖，以及上海文化发展基金、国家艺术创作基金重大项目、中国文化部精品工程扶持项目、国家科技创新工程项目等。

2021年9月，国家文化和旅游部科技创新工程项目“沉浸式虚拟现实跨媒体展演工程系统开发”，经文化和旅游部科技教育司验收合格，准予结项。

2018年至2021年，这个项目以三大虚拟展演、一项展览、一场研讨会、一本著作、三个数字资产库的方式，记录了科技对艺术活动带来的影响，也记录了代晓蓉教授和上音教师团队在此间的诸多思考，和那段创作历程。

演出·三场虚拟展演

虚拟交互影像装置《进化》

2018年9月，“2018世界人工智能大会”揭开神秘面纱。上海徐汇滨江成为全球瞩目的焦点，人工智能领域极具影响力的有识之士集聚于此，以“人工智能赋能新时代”为主题，共同探讨新一代人工智能的发展愿景。

《进化》作为世界人工智能大会主厅入口的主视觉虚拟交互影像装置，为参会者带来独特的智能科技体验。

《进化》由总长61米、高2米的高清LED墙面组合而成，通过虚拟交互的系统设计，实现参观者与影像的实时互动。装置以红外摄像头捕捉观众的形象与动作，通过计算机程序实时处理进行艺术化变形。当观众进入主会场入场口时，人的形象通过红外摄像头捕捉，投射为镜像，在LED屏幕里显示出由块面形式逐步到线性，最后形成星辰粒子。观众在移动中扰动这些“点”，形成大数据“云”。幻化的图像犹如星云在浩瀚宇宙聚散离合，配以充满未来感的环境音乐，为参会者营造了充满神秘意味和艺术哲思的智能科技初体验。

对于“进化”这一创作主题，项目总设计代晓蓉教授介绍了作品背后的设计思考，随着人工智能、大数据等数字技术的日益成熟，人类的“进化”将面临重大变革。“从科技观角度思考，生物本身即是‘算法’，生命是不断处理数据的过程，意识和智能的分离，会让我们不断反思——我们应该如何从科技角度来重新思考人类的发展。”

虚拟现实全景原创歌剧

《贺绿汀》样本

VR视频裸眼效果

通过虚拟现实技术加持的上音原创歌剧《贺绿汀》样本，同时采用360度虚拟现实拍摄手法，将《贺绿汀》演出录制下来，后期处理制作为VR内容。为观众重新打造数字化观演环境，即使不去剧场，也能身临其境地观看精彩的剧目。

全息混合现实舞台作品

《朝元歌》

2019年8月底，全息混合现实舞台作品《朝元歌》，成为多媒体创作者献给“2019世界人工智能大会”的又一大礼。在此次大会的《AI+艺术欣赏体验会》上，作品《朝元歌》采用立体影像与表演者动态交互的方式，呈现出虚实幻化的视觉奇观。舞台上，昆曲艺术家张军与萨克斯演奏家同台合作，观众通过3D眼镜就可以获得身临其境的沉浸式观演体验。

创作团队设计的全三维立体视觉影像，呈现出“人在景中游”的演出形式。在飘渺的艺术幻境中，立体影像与演员动作相交互，呈现虚实难辨的视觉奇观。昆曲与萨克斯流行音乐的结合，更象征着中西方跨越千年的对话，彰显海纳百川、兼容并包的文化胸襟。

展览·2020年上海音乐学院

数字媒体艺术学院

线上毕业展《云展览》

上音数媒学院2020毕业创作《云展览》，是疫情期间首次尝试的线上毕业展，不仅是学生的毕业作品，更是全体老师们进行虚拟展览的一次科研尝试。

这一虚拟展示平台实现了3D技术与VR技术深度融合，虚拟展厅360度展示，还原了真实的空间效果；用户通过屏幕触击即可实现交互导航，实时演算系统、预渲染技术，都为参观者云端观展创造了沉浸式的交互环境。

作品主题包括守护人类生存环境、关爱特殊人群、存续文化传统等人文话题；还涉及到网络暴力、媒介舆论、人类通讯方式的嬗变等科技伦理相关问题。《云展览》使人们有机会在云端透过青年人的艺术创作俯瞰千变万化的人间情境，特殊时期，这种突破了影像、音乐、装置、空间等多元边界的展览尝试，更渗透出别样的技术哲思，引发人们深刻思考后现代技术伦理语境中“生存”的真实含义，不仅实现了艺术作品展览在时空上的高度自由，而且拓展了艺术教育的发展空间。

数字资产库·三项自主知识产权

建立上海音乐学院数字资产库，是国家科技创新工程项目“沉浸式虚拟现实跨媒体展演工程系统开发”的又一重要任务。

“数字资产云归档管理系统”“数字资产云归档管理系统”“数字资产云归档管理系统”，三个数字资产库将可以数字技术形式保存项目执行过程中的所有演艺内容，包括创作手稿、舞台表演、音乐、声效、三维模型贴图、特效数据、动画数据等，配以高效检索和预览系统，从而实现了所有演艺形式、资源等的永久保存、快速预览调用、高效共享、高效复用。数字资产库的建立代表了该项目对数字资产何以存在以及存现方式的实践探索。

上海音乐学院数字资产库-数字资产云归档管理系统

上海音乐学院数字资产库-教学素材版本管理系统

上海音乐学院数字资产库-多媒体素材共享管理系统

研讨会·国家文化创新工程项目

暨人工智能与艺术展演

国际交流合作研讨会

2019年12月16日-17日，国家文化创新工程项目暨人工智能与艺术展演国际交流合作研讨会在上海音乐学院举行。围绕着“艺术与科技”的核心议题，国内外多位人工智能专家、机器人设计师、数字媒体专家、高校相关领域教授，交流和分享了各自的创作经验和研究成果。

这次研讨活动为业内教育工作者、艺术家、设计师搭建了一个宝贵的产学研合作交流平台，共同探讨面对新一轮科技革新，如何推动文化艺术发展的前瞻性话题。

著作·《演变与重构——

媒体艺术视野中的数字化剧场研究》

作为国家科技创新工程项目“沉浸式虚拟现实跨媒体展演工程系统开发”的重要研究成果之一，专著《演变与重构——媒体艺术视野中的数字化剧场研究》于2021年3月在人民出版社出版。

这本书是代晓蓉教授近年来艺术与科技展演创作活动的经验剖析与理论总结。本书从探讨数字化剧场艺术的观念基础和理论渊源出发，充分吸收国外相关研究成果，比较详尽地呈现了数字化剧场艺术的形态流变历程，以及西方理论界在此领域的研究面貌。

同时，本书在借鉴西方理论家研究经验与研究方法的基础上，从中国研究者的文化视野出发，对其形态语言要素与审美特质进行剖析，力争在追溯中外数字化剧场艺术演变历程的基础上，建构数字化剧场艺术的理论空间，为当代中国数字化剧场艺术的创作实践与理论研究提供有益的借鉴。

“欢迎来到真实的世界”·

理论与实践的历程概览

2018年至2021年，三场虚拟展演、一项展览、一场研讨会、一本著作、三个数字资产库，呈现了“沉浸式虚拟现实跨媒体展演工程系统开发项目”的创作历程，也记录了代晓蓉教授和师生团队在创作过程中的诸多思考。

虚拟交互影像装置作品《进化》，抛出了人工智能时代人类“进化论”的经典命题，在这样一个“真实的世界”中，在超真实技术图景中，人类将要向何处去？疫情期间推出的虚拟毕业展《云展览》，使人们有机会在云端透过青年人的艺术创作俯瞰千变万化的人间情境，在这个特殊时期渗透出别样的技术哲思，引发人们深刻思考后现代技术伦理语境中“生存”的真实含义。专著《演变与重构——媒体艺术视野中的数字化剧场研究》，更是团队多年创作实践的理论总结，在建构数字化剧场艺术理论空间的同时，为当代中国数字化剧场艺术的创作实践与理论研究提供有益借鉴。

三年来，“沉浸式虚拟现实跨媒体展演工程系统开发项目”激励了创新艺术人才的培养。项目将科研成果转化为文化生产力，促进了产学研一体化，为社会输出了具有科学创意、高科技含量的艺术作品。

新技术的兴起，使艺术的外延与边界日益扩展，不断重塑着人们的审美，也为艺术创作注入新的艺术哲思。项目的顺利完成，预示着数字媒体学院全体师生团队在向着后现代生存图景的艺术探索中又迈出了踏实的一步。

“欢迎来到真实的世界”

这些科技艺术造物的

创作者和思考者

还将引着我们在超真实的技术图景中

共同探寻存在的意义和生命的方向

供稿：数媒学院、科研处

设计：Flora_n

编辑：彭畅

小音征稿啦

下一个登上

官微、官博、官方B站、官方抖音的

可能就是你！

快来投稿吧~

征稿类型

人物｜身边的优秀师生榜样或校友故事

图片｜记录上音两校区的摄影设计

视频｜师生才艺展示及编曲创作

创意| 适合新媒体传播的作品

投稿方式

发邮件：shcmxcb@shcmusic.edu.cn

标题：投稿-类型-姓名-年级-学院

投稿要求

作品确为作者本人原创成果

小音家族

赞与在看，两个都点才是真爱