当虚拟影像走进现代舞——上科大创艺学院CEL实验室和信息学院MARS实验室合作舞蹈《Touch 影》正式上演

《Touch 影》：虚拟人物与真人舞者同台演出

2021年11月18日至19日，上海科技大学创艺学院娱乐创意研究实验室（CEL）和信息学院多学科人工现实工作室（MARS）参与技术创意合作的舞蹈作品《Touch 影》在上海国际舞蹈中心实验剧场热力上演，为观众带来一场视觉与心灵的双重“沉浸”体验。

《Touch 影》演出现场

这部舞蹈作品是今年中国上海国际艺术节“扶持青年艺术家计划”的委约作品之一，由创艺学院CEL实验室鲍晓群课题组策划创意模式，采用信息学院MARS实验室孵化的学生创业公司域动数字自主研发的无标记点动作捕捉技术，并联合拖鞋计划舞团，打破时间与空间、虚拟与现实的边界，实现虚拟人物与真人舞者同台表演，创造全新的视觉艺术体验。

《Touch 影》演出海报

此次选拔从今年4月起，历时五个多月，经过评委会三轮遴选，最终两个实验室的参赛方案从全球100多份报名作品中脱颖而出，成功入围六部委约作品之一。

在准备送审作品的过程中，上科大尘音合唱团、上科大danceholic街舞社、上科大戏剧表演班的同学们也积极参与创作中，一起构想并排练真人与虚拟人合作的音乐剧、以及舞蹈内容，焕发出青春的光彩与活力。

“扶持青年艺术家计划”作为中国上海国际艺术节的重要板块，是原创作品和青年艺术人才的孵化器，向国际舞台输送中国优秀作品和人才的集结地。今年该计划是首次将融合最新技术创意的艺术作品纳入委约范围。

上科大学生积极参与录制送审demo

虚拟与现实共舞

与一般现代舞不同，《Touch 影》是一次尝试打破虚实边界、链接科技与艺术的实验探索。通过对舞者动态的“实时捕捉”，将虚拟影像与真人舞者互为映照，虚拟影像折射出另一个空间下的“自己”，舞者与虚拟影像的对应，就像一场平行时空之间的对话，或许也带来思考：虚拟世界和现实世界中的我，谁才是真的我？

此外，多层幕布的设计，也实现了类“裸眼3D”的场景，二维和三维的交替呈现，在舞台中形成一种“影中影”、“梦中梦”的独特效果，引领观众步入一个虚实交叠的奇妙世界。

舞者实时驱动投影中的虚拟影像

此次跨界探索，也对创作团队提出了挑战，在演后谈中，上科大团队也分享了与舞团技术创意合作的历程。“我们团队和编舞老师讨论了很多种虚实演绎的方案，综合考虑了主题表达与技术的可操作性，并经过反复测试与排练后，实现了最终想要的效果。艺术与科技的融合与碰撞，让我们看到了更多可能性。”创艺学院CEL实验室老师沈佳敏介绍到。

上科大学生彩排测试

《Touch 影》演后谈

科技赋能创作，打开新的空间

此次采用的实时无标记点动作捕捉技术由信息学院MARS实验室孵化的学生创业公司域动数字自主研发，十余名学生组成的团队经历了数年的技术积累和一年多的产品化，正逐渐尝试应用到娱乐、艺术、生活等场景中。

研发者之一、信息学院研一学生黄程宇介绍，该项技术依托现有亿帧级别人体姿态数据集、独立设计的轻量化深度神经网络以及优化模块和移动端边缘计算能力，使用者只需要通过3-6台普通USB摄像头或移动设备就能够完成对人体姿态的高精度实时估计。“与传统人体动作捕捉需要动辄百万元的设备、繁琐耗时的设备穿戴与较大面积的无遮挡空间，这套技术将动作捕捉成本下降至传统动作捕捉方案的千分之一。我们也希望能够将这个技术应用在直播、运动、艺术表演等多个领域。”黄程宇表示。

黄程宇同学接受东方卫视《文娱新天地》、

中国上海国际艺术节记者采访

在演出外场，上科大团队也利用无标记点动作捕捉技术，特别搭建了虚拟人物互动体验区，引起了许多观众的兴趣，观众可以站在三台USB摄像头中间，实时驱动屏幕中的虚拟人，并与其中的真人舞者实时互动，观众通过扫一扫，此段视频将即刻发送到自己的手机中。这也让更多人感受到了在虚拟世界中互动的乐趣。

观众在场外体验虚拟人与真人互动

现实世界的舞台因为有了虚拟技术的加入，带给人们更多的想象空间。随着人工智能、计算机视觉前沿技术的不断发展，我们期待未来有更多科技与艺术、娱乐、文化等大众领域融合的创意探索！

《Touch 影》主创团队

《Touch 影》上科大团队

《Touch 影》

上科大参与人员

技术创意策划

创艺学院CEL实验室

鲍晓群、沈佳敏

技术支持

信息学院MARS实验室孵化的

学生创业公司域动数字

黄程宇

信息科学与技术学院2021级研究生，

计算机科学与技术专业

张文谦

信息科学与技术学院2018级本科生

计算机科学与技术专业

黄默麟

信息科学与技术学院2021级研究生

计算机科学与技术专业

张军

信息科学与技术学院2020级研究生

计算机科学与技术专业

章烨昊:

信息科学与技术学院2017级本科生

计算机科学与技术专业

摄影、摄像

杨博

信息科学与技术学院2018级本科生

计算机科学与技术专业

姚宇清

信息科学与技术学院2021届毕业生

计算机科学与技术专业

特别鸣谢

参与送审作品演出同学

上科大创艺学院2020秋《戏剧表演》课

刘凯雯

iHuman研究所2015级博士研究生

结构生物学

上科大尘音合唱团

姜悦成

物质科学与技术学院2019级本科生

化学专业

王乐航

信息科学与技术学院2019级本科生

电子信息工程专业

郭原盈

创业与管理学院2020级本科生

管理科学专业

张文悦

生命科学与技术学院2019级本科生，

生物科学专业

郑云思

生命科学与技术学院2019级本科生

生物科学专业

上科大danceholic街舞社

胡雯漫

信息科学与技术学院2018级本科生

电子信息工程专业

王淇

物质科学与技术学院2018级本科生

材料专业

李淼

信息科学与技术学院2018级本科生

计算机科学与技术

霍超凡

信息科学与技术学院2021级硕士研究生

计算机科学与技术