更高效、更经济！哈工程教师在AI视觉模型上获得突破

近年来，各类修图、视频编辑软件火爆网络，但这些软件的AI视觉模型还需费时费力的人工标注关键点数据辅助训练。近日，哈工程智能科学与工程学院青年教师邢向磊等人在AI视觉模型研究上取得突破进展，达到更智能化建模，无需人工标注关键点数据，无监督地解离表观和几何，学习到的几何知识还可以方便地迁移应用到表情识别、动作识别、编辑生成图像和视频等AI任务和其它相似结构的数据集中。研究成果在世界著名的人工智能顶级学术期刊《IEEE模式分析与机器智能汇刊》（《IEEE Transactions on Pattern Analysis and Machine Intelligence》）上发表学术论文“形变生成网络：无监督解离表观与几何”（“Deformable Generator Networks: Unsupervised Disentanglement of Appearance and Geometry”, IEEE-T-PAMI, DOI:10.1109/TPAMI.2020.3013905）。

人们看到的视觉图像由图像的色彩、亮度等表观信息与视角、形状等几何信息构成，人类的视觉理解系统可以轻松地分离、提取并描述图像的形状、颜色等信息，从观察到的事物中总结归纳并提取抽象知识，是人类智慧的标志之一。但对于机器而言这个过程并不简单。解耦和分离视觉中的表观和几何是AI视觉的基础科学问题。很多人工智能和机器视觉的任务都需要解离表观和几何信息。一方面充分解离的特征表示，更有利于后续的识别、理解和推理等任务。另一方面，可利用生成模型和学习到的几何知识对图像和视频进行编辑，生成新颖的图像和视频。比如修图中经常用到的瘦脸等形状编辑、旋转姿态等，或者对视频中两个人的表情序列进行迁移重组，生成新视频等。

图1 形变生成模型原理图

以往的人工智能和机器视觉生成模型方法，往往需要给机器提供一些人工标注的关键点信息，才可以将表观和几何信息解耦分离。以人脸数据为例，关键点信息通常标记在人脸的轮廓，五官等位置，便于对人脸的几何形状建模描述，然而人工标注成本高且费时费力。

图2 关键点信息标注示例

邢向磊等人提出的方法突破了需要人工标注关键点信息的限制，可以从容易获取的无标签数据中学习，在统一的概率框架下，通过表观生成子和几何生成子分别对表观纹理和几何形变场进行建模,并利用可微分几何变换(warping)函数连接两个生成子并输出图像或视频数据，如图1所示。机器通过无监督学习，从图像数据中自动挖掘出表观和几何基函数，其生成的图像如图3所示。

图3 形变生成模型通过无监督学习从数据中提取分离表观和几何基函数图像

对于视频数据，两个生成子引入了非线性转换模型以捕获时域动态。机器通过无监督学习，从视频序列中挖掘动态表观和动态几何形变信息。通过对解耦分离的动态表观和几何信息进行迁移重组，可以生成新的视频序列，如图4所示。可利用提出方法分离出的密集动态几何形变场对人脸表情进行精确建模，以提升表情识别性能。

图4 视频表情的迁移重组，编辑生成新的表情视频

一二列为真实表情序列，三四列为迁移重组、交换表观和几何信息后生成的视频。

IEEE-T-PAMI是人工智能，机器视觉，机器学习，模式识别，图像理解等多个领域的顶级国际期刊，侧重于发表有重要意义并能引领广泛兴趣的突破性前沿研究。2019年度影响因子达到17.86, 在中国计算机学会认定的人工智能领域四个A类期刊中影响因子排名第一。IEEE T-PAMI以严苛的审稿著称，对论文的原创性要求严格，每年收录的论文数量十分有限。

邢向磊，博士，2013年毕业于南京大学电子科学与工程学院。2017-2019年在加州大学洛杉矶分校(University of California Los Angeles,UCLA)做访问研究员工作。现就职于哈尔滨工程大学智能科学与工程学院。主要从事机器学习与机器视觉等领域的研究工作。近期研究成果发表在《IEEE-T-PAMI》(IF=17.86)，《Pattern Recognition》(IF=7.19),《Neural Computation》等期刊和CVPR2019,CVPR2020等顶级国际会议上。在‘AAAI19 Workshop on Network Interpretability for Deep Learning’上做特邀报告。主持国家自然基金青年项目1项，黑龙江省自然科学基金青年项目1项。作为项目技术负责人参与国家自然科学基金面上项目2项。

哈尔滨工程大学

— heu19530901 —

排版 | 张岩松

编辑、责编 | 霍萍

审核 | 吕冬诗 金声

信息来源 | 哈工程智能科学与工程学院