师生研究聚焦：奔跑吧，机器人

2020-6-27 04:58:10

上海纽约大学NYUShanghai

内容摘要：

速读文章内容

师生研究聚焦：奔跑吧，机器人

Scroll down forEnglish

上海纽约大学NYUShanghai

为学生提供与教授一对一合作的机会是上海纽约大学引以为傲的特色之一。本学期，我们将为大家深入报道几组师生合作研究的成功案例。

学生

陈昕玥（2022届）

教师

工程与计算机科学部主任

Keith Ross教授

在来上海纽约大学就读之前，2022届学生陈昕玥没有任何编程或编码的基础。但在大一结束时，这个上海姑娘就修完了为高年级学生开设的计算机课程“机器学习”。这门课由上纽大工程与计算机科学部主任Keith Ross教授执教，竞争十分激烈。陈昕玥还加入了Ross教授的本科生科研基金（DURF）项目团队。过去这10个月里，她与团队的另外三名本科生和几名博士生就编程编码展开合作研究，并开展了模拟机器人实验。

上海纽约大学NYUShanghai

正在单独做研究的陈昕玥

寒假自学线性代数

昕玥：机缘巧合之下，我第一学期修读了“计算机编程入门”课。这门课我投入了很多精力，而且发现自己还挺擅长编码的，写起代码来感觉很轻松。于是，大一下学期我决定挑战一门更高阶的计算机科学课程，尝试Ross教授的“机器学习”课。虽然我的学业顾问和朋友都不建议我上这么高难度的课，但我还是决定勇敢一试。

Keith Ross：大部分学生都是大四时来上我的“机器学习”课，但昕玥大一就来了。她治学严谨认真，勤勉刻苦，对研究和学业充满热情。

昕玥：我知道学习这门课对我来说很有挑战，因为需要有线性代数的基础。所以我在春季学期开始前的寒假找了一本线性代数的教材开始自学。后来，“机器学习”刚刚开课几周，我就已经有很多问题想请教Ross教授，其中一个是想问他手下有没有我可以参加的研究机会。Ross教授当时对我的学习热情给予鼓励，并邀请我加入了他的DURF项目小组。这对我这个大一新生来说是非常宝贵的学习机会。

在暑期DURF项目研发算法

Keith：我们目前的课题来源于去年夏天开始的DURF项目，研究人工智能的一个分支——“深度强化学习”。该领域实际上是深度学习和强化学习这两个子学科的结合。深度学习是当下的热门话题，通过实现面部识别、自然语言处理、翻译、无人驾驶汽车、物体识别（确保无人驾驶汽车不会撞树）等一系列技术突破，将人工智能推上了话题巅峰；强化学习则是人工智能的另一个领域。我们目前正在研究如何将深度强化学习应用于机器人技术，但由于没有实体机器人，我们在实验中使用的是模拟机器人。

昕玥：前半个夏天，我们学习了与研究主题相关的材料，后半期便开始开展研究、做实验、写代码。

Keith：我们的目标是训练计算机模拟机器人执行跑步等各项任务。基于深度强化学习，我们提出了不同的算法和方法，尝试解决这些基准问题，让机器人快速学习。

昕玥：我们先构思算法，然后通过编码实现它。实验的第一阶段是测试这个想法，看代码在模拟环境中能否运行。我们根据想法写出算法，并在模拟环境中测试，结果几乎都失败了。但不论做任何实验，失败几次总是在所难免。我们认真找出失败的原因，然后对算法进行了修改。

上海纽约大学NYUShanghai

图片来自海报：2022届陈昕玥和2020届周子鉴制作的“深度强化学习中的最佳动作模仿学习”。在MuJoCo物理模拟环境中用算法演示走路、跑步等连续式任务

让机器人跑得更快

Keith：有几支竞争队伍也在使用和我们相同的基准，包括伯克利的一支大队伍和谷歌的几支队伍。这些队伍实力都很强，所以竞争十分激烈。他们正在尝试用不同算法，尽可能加快机器人的学习速度。我们目前也在朝这个方向努力。刚开始，机器人甚至不能正常站立，需要靠外部施力。机器人身上有许多不同的关节，你需要对不同的身体部位施加不同的力它才有可能动起来。但算法本身对此一无所知。它只知道机器人的运行速度或者机器人是否在站立，以及机器人可以执行不同的任务，而且会得到一定的奖励。

昕玥：如果机器人高速运行，我们便认为它表现不错并给予较高的奖励；如果它的运行速度慢，得到的奖励就会比较少；如果它无法正常运转或是没有在学习如何运转，得到的奖励便非常少。所以奖励的多少反映了机器人智能体处理任务的情况，这也是深度强化学习的推广应用。

Keith：这就是强化学习的理念：算法只是尝试不同的事物，随着时间的推移，它会开始学习正确的做法。

昕玥：我很幸运能在做实验时发现，由我设计的一个算法运行良好且很有潜力。Ross教授也给予了我鼓励与肯定。他说，“我觉得这个算法很有潜力，我们应该在此基础上继续研发。”于是我们在DURF项目之余又花时间研究这个算法，获得了单独的运行结果。直到现在，我们还一直在钻研。

平衡个人研究与团队任务

Keith：目前我们项目团队共有六人：我、昕玥、另一名计算机科学和荣誉数学专业大四学生周子鉴、我的两名博士生和一名在纽约的荣誉数学专业本科生。因为学生们秋季学期要上课，所以我们当时的研究速度有所放缓。但春季学期我们又开始了新一轮的合作研究。

昕玥：记得夏天时，我们每周都会见面两三次，一起在学校会议室讨论算法的研究进展，以及是否要调整或继续某个具体的研究方向。

Keith：讨论结束后，学生们便会各自回去编代码、做实验。我们常常使用学校的高性能计算系统，本科生们也会用这个系统运行实验——写些程序并展示运行结果，然后我们一起讨论、修改这些算法。

昕玥：我们每次的见面讨论都很热烈。讨论时间至少有一小时，有时甚至达到三小时。比如，我们上午十点碰头，有时会一直讨论到下午一点。结束后去食堂吃午饭时，菜品几乎所剩无几了。

Keith：除了集体讨论外，学生们也会互相交流，或是来找我单独讨论。他们大概有80%的时间是在单独写代码、做实验，其他20%的时间则是在开会和讨论。我们也会用邮件交流，甚至还有一个微信群。几个学生大多是利用课余时间进行课题研究。

昕玥：Ross教授研究团队的气氛很好。有时他会要求我们做一个幻灯片展示，以此了解我们对某篇文章或某个概念的理解情况。在其他同学的鼓励下，我的展示能力有了很大的提高。我真心感谢团队的每位成员，尤其是两位计算机科学专业的博士生王澈和吴艳秋。包括我在内的几个同学并没有DURF项目经验，但他们很热心地帮助我们从头开始，一步步学习。

Keith：上纽大的师生团体小而精，使本科生们开展学术研究具备一大优势。在这里，学生更容易与教授建立关系，班级规模比纽约大学还要小，使得每位学生可以享受更多的资源。学生们也可以有更多的机会与教授交流、参与研究。

昕玥：我觉得上纽大为本科生学术研究提供了很好的平台与机会。Ross教授非常开明，他常说，如果我们有任何建议或是觉得他的某个想法有误，就要毫不犹豫地说出来。我们团队的每个人都有过“挑战”他的经历，而且每次不论我们的观点是对是错，他都很高兴我们能够主动发现问题。

Keith：除了实践我教给他们的内容，几个学生也都有自己的想法，而且愿意表达出来与大家分享；有时候与我意见相左也会毫不犹豫地提出，所以我们团队的研究氛围非常好。上纽大致力于培养学生的批判性思维，这一点在几个学生身上得到了充分的体现，也给他们的科研工作带来了积极的推动与影响。