上科大信息学院在国际计算机视觉大会展示多项智能视觉前沿成果

10月11日至10月17日，国际计算机视觉大会(ICCV 2021)在线举行。在10月11日的研讨会上，ICCV 2025年大会程序主席，上海科技大学副教务长、信息学院执行院长虞晶怡受邀与美国工程院院士、美国加州大学伯克利分校教授Jitendra Malik，德国蒂宾根大学计算机科学系副系主任Andreas Geiger，Facebook人工智能研究员David Novotny和NVIDIA首席研究科学家Shalini De Mello等11位相关领域的权威专家学者，针对无监督3D学习（Unsup3D: Unsupervised 3D Learning in the Wild）主题开展深入讨论。虞晶怡发表了题为”Neural Modeling and Rendering for Creating Virtual Humans“的主旨报告，详细介绍了上科大信息学院的相关研究成果。

如何将复杂多样的人体快速且高精度地建模成“数字人”一直是人工智能的热门话题之一。近年来上科大信息学院在人工智能领域取得多项科研成果，提出了一整套“数字人”生成的原创性解决方案，打破了传统“数字人”难以普及的瓶颈，孵化了数个师生创业企业，助力科技成果落地应用。

信息学院研究团队设计的神经网络人体渲染引擎，能够实现多视角下人体复杂动作与细节的充分还原，并且支持自由视角任意切换。在人物交互的场景中，即使物体被遮挡，引擎也能通过设计的模型完成遮挡部分的推理与重建。不仅如此，研究团队还构建了涵盖大多数日常运动的高难度多模态动态数据集，通过多模态数据提供的信息能够让神经网络在训练时获得足够多的参考，从而实现了单RGB相机对人体动作的捕捉与驱动。这是更加贴近生活与消费级的“数字人”方案。孵化企业域动数字由信息学院学生黄程宇、梁瀚、林沛始创。公司对相关技术进行了整合，其打造的新型无穿戴动作捕捉与数字人产品克服了传统动作捕捉方案中成本高、不便携的缺点，被哔哩哔哩、芒果TV等平台采用，将继续推动消费级虚拟偶像、虚拟数字人等行业的发展。

部分数字人重建结果与数据集

面部是数字人最重要也是技术要求最高的部分之一。研究人员通过搭建主动式的复杂光场系统，采用光速变化的动态光照，进一步提高了数字人面部建模效果，恢复了高精度的脸部细节。高质量人脸模型能为后续单相机人脸重建、面部重打光技术、AI换脸技术的研发提供支持。孵化企业影眸科技由信息学院学生吴迪、张启煊和张龙文始创。公司通过技术整合，正在为国内文化娱乐行业带来全新的技术解决方案。

图 | MARS实验室全新脸部光场采集系统及重建效果

数字人手指与毛发的建模效果决定了数字人质量的上限，研究团队结合预先定义的手部复杂参数模型与采集的MRI手部骨骼数据，完成了对复杂的手部骨骼的精确建模；利用神经渲染（Neural Rendering）的方式，不仅能够实时还原与渲染发毛边缘半透明信息通道，并且在自由视角下保有拍摄时环境光的影响，让渲染结果更加逼真。

图|数字人手部骨骼估计效果图

图|毛发渲染结果效果图

以上研究成果均发表在国际计算机视觉与模式识别会议（CVPR）、计算机视觉国际期刊（IJCV）、ACM Transactions on Graphics等国际旗舰期刊/会议，充分彰显了上科大师生科研实力和学术潜力。上科大所孵化的创新企业将原创技术与影视、娱乐、媒体等各项应用场景结合，实现了技术突破、生态搭建与场地落地的产业链接，产生的叠加效应将加速人工智能技术落地。

此外，在ICCV 2021大会期间，信息学院高盛华教授与其他国际知名学者组织了一场专题研讨会，就基于整体结构的三维重建方面进行了深入交流。研讨会邀请了包括沙特阿卜杜拉国王科技大学的Peter Wonka以及德国慕尼黑工业大学的Angela Dai等多名国际知名学者参与讨论沟通，搭建交流平台的同时也充分展现了上科大的科研动态。信息学院多篇学术论文被此次大会接收。

上科大信息学院致力于建立具有全球影响力的新一代人工智能创新中心，以人工智能理论为核心，从基础理论、关键技术、创新应用三个层面进行不断拓展。近几年来，人工智能领域科研成果频频被领域知名学术期刊/会议收录发表，在全球科技舞台上展现了上科大的科研成果，展示了上科大学子厚积薄发的科研实力。在学校大力推动学科交叉融合的氛围中，信息学院积极地与其他各院所开展合作，致力于将AI技术应用到基础学科的教学科研中，探索基于科技创新的解决方案。信息学院将与iHuman研究所、免疫化学研究所一起组队进军2021年蛋白质结构预测国际大赛。此外，信息学院已经与创管学院开设了两次《信息科学技术发展伦理与道德》课程，并取得了不错的反响。当前，信息学院正积极与物质学院、创艺学院打造交叉课程，培养具有创新思维的跨学科人才。学院还将基于机器学习对大数据的分析和学习能力，与物质学院合作将AI技术应用于高性能多功能半导体材料的制备中，实现人工智能原子制造。未来，学院将继续聚焦学术前沿与技术重点，深化融合，不断创新，打造具有国际竞争力的人工智能创新高地。

图 片 张启煊

视 频 林 沛

排 版 赵子豪

编 辑 高正纯

高 瑄

今天“分享”“点赞”“在看”了吗？