日前, 浙大城市学院计算学院软件工程2018级本科生楼仁泽与美国达特茅斯学院 (美国八所常青藤院校之一)研究员合作的论文“Grad-TS: 一种基于预训练语言模型梯度信号的自动任务选取策略”(GradTS: A Gradient-Based Automatic Auxiliary Task Selection Method Based on Transformer Networks)被2021国际自然语言处理顶级会议(The 2021 Conference on Empirical Methods in Natural Language Processing ,简称EMNLP 2021)正式录用。楼仁泽为共同第一作者。
该文章提出了一种基于预训练语言模型的多任务训练方法,利用预训练神经网络在主任务上反传的梯度信号作为指导,计算任务间相似度从而达到辅任务选择的目的。在自然语言理解数据集GLUE上的大量实验表明,该方法在计算时间、显存消耗以及稳定性上显著优于现有的方法。
EMLNP(CCF B,h5-index 132)是全世界公认的国际性自然语言处理顶级会议,与ACL、NAACL并列为自然语言处理领域的三大顶会,以其影响力广,审稿质量高,收录文章含金量大而在学术研究领域饱有声誉。而此篇文章也是得到会议主办方的高度评价(三位审稿人一致给出Srong Accept)。此次EMNLP的论文录用标志着浙大城市学院学生在学术探索研究和国际合作交流上的又一次重大突破。
EMNLP收录论文标题 (楼仁泽同学为共同第一作者)
据悉,楼仁泽在陈董锴(计算学院2019届校友,现达特茅斯学院研究生)、汪宇通(商学院2019届校友,现清华大学深圳研究生院研究生)和张凯(计算学院2020届校友,现清华大学研究助理)等人的认可和引荐下,已与清华大学深圳研究生院、美国达特茅斯学院多次合作,在ICASSP(CCF B,h5-index 86)、ACL(CCF A,h5-index 157)等知名国际性顶会上公开发表多篇论文。
来源 / 计算学院
摄影 / 陈莹
责任编辑/ 李冠琳
出品:
投稿邮箱
xcb@zucc.edu.cn
tuī
推
jiàn
荐
yuè
阅
dú
读
最靓新生辅导员“天团”来袭!
2993,终于等到你!
出征东京残奥会,他是坐式排球场上唯一的中国裁判员!
实用帖!解锁校园卡篇的正确打开方式
罗卫东:大学要育“清楚的头脑”
为ZUCC点个赞!告诉大家你在看!