自主抓取考试开始了!獐子岛的海面水流湍急,摇摇晃晃的科考船上,科研人员在显示器前监控着“海鲜”捕捞机器人的一举一动,不做任何操作。一会功夫,这个被称为“海底法拉利”的机器人上岸了,载着满满一筐在海底自主识别捕捞的扇贝,考试成绩接近满分!这是科研人员国庆节最好的礼物。
智能识别、自主抓取,
捕捞机器人一气呵成
“海底法拉利”是哈尔滨工程大学船舶工程学院黄海教授和团队研究人员立足于国家自然科学基金委员会重点项目“水下机器人自主环境感知与生物目标无损抓取研究”研制的,项目起步于2016年。
黄海老师,杨旭老师(中国科学院自动化研究所)以及周浩博士讨论场景
黄海教授介绍,随着水产养殖业的规模不断扩大,潜水员人工捕捞的作业模式已经越来越不能满足海洋经济可持续发展的要求。潜水员捕捞人力成本高,受到客观因素的影响,每次只能作业20-30分钟,而且水下工作环境危险,冬季天气寒冷、海况恶劣。因此,团队致力于研发一款智能的海底生物捕捞水下机器人来代替潜水员的工作,不仅能降低捕捞成本,还能提高捕捞效率及安全性。
团队成员在科研船上安装机器人
出海试验选择在獐子岛附近的自然养殖海域进行,然而测试当天,单方向海流速度已经达到了0.6米/秒,海况比较恶劣。“如果在这种天气下海捕捞,人肯定被吹走了。”哈工程船舶工程学院科研团队博士姜涛说。然而,风浪越大,水流越湍急,越能展现“海底法拉利”的实力。
“法拉利”身高1.15米,四肢矫健,长达1.2米的三关节机械臂是抓取海鲜的杀手锏。它有三只眼睛,可以根据海鲜的不同位置和海况,智能选择两种抓取模式。
黄海老师检查机器人脐带缆(左),黄海老师带领学生对机器人进行浮态调整(右)
为了实现精确识别,捕捞机器人在下海的第一天进行了样本采集和训练,正常情况下,海洋生物识别训练需要在两天内进行20000步的迭代,但是黄海教授和研究团队考虑到海试的时间和天气等客观因素影响,在机器人训练一天完成了10000步的迭代后,决定停止训练,开展自主抓取试验。虽然机器人此时只能达到70%的识别效果,但实践结果证明,这个决定是完全正确的。
单目自主抓取过程
发现目标
趋近目标
机械手爪打开
抓取目标物
机械臂进行回框动作
双目自主抓取过程
发现目标
趋近目标
机械手爪打开
抓取目标物
在光缆的引导下,“法拉利”被护送到海面。经过逐步分解的单目自主抓取和双目自主抓取训练测试后,需要“法拉利”在没有任何人员的操作下,独立完成从下潜到自主寻找、智能识别、定位跟随、自主抓取、收集等一系列全自主操作。
自主抓取过程上位机以及船上人员状态
科研人员捏着一把汗,他们静静盯着地看着显示屏中“法拉利”的一举一动,却不作任何操作。在湍急的水流中,加足马力的“法拉利”没有受到水流的影响,虽然视野十分模糊,科研人员在监控里都难以辨别目标物的位置,但“法拉利”还是凭借着强大的双目模式精准识别目标,从距离海底1.5米的高度缓缓降落,逐步趋近目标,四条腿牢牢罩在目标物的周围,机械臂果断出击。看到一只只扇贝被机械臂装进背篓,科研人员连连叫好,“今天有海鲜吃了”。
机器人首次在海试中全自主抓取的扇贝
机器人遥控抓取情景(左)机器人在海底遥控抓取的野生扇贝(右)
视力好、抓得准,
捕捞机器人的目标是超越人类
“法拉利”出海试验圆满成功,为了这一天,研究团队先后20余人可是下了4年多的功夫。“海底作业不同于陆地,海水混浊能见度差,大风浪与海流严重影响机器人稳定性,机器人要克服正常人类作业都难以应付的水下环境,挑战性超乎想象。”黄海教授表示,此次参加海试的第二代“海底法拉利”,经过团队多年的迭代改进升级,已经逐个突破了对海底生物的远距离探测、水下生物的视觉柔性感知、目标生物快速检测、识别与跟踪和自主抓取等技术难题。
左右滑动查看潜水员视角
首先,机器人在水下智能识别海底生物是一大挑战,“水下光照有特殊的光学特性,这些光学特性导致水下图像成像质量较差。而且,不同于陆地一些车辆识别等任务,机器人面对的是水下小生物,不但个头小,还有可变形的问题,这都对识别提出了挑战。”对此,团队成员先后建立了一系列视觉识别定位方法,提升机器人的感知能力,实现了水下小目标的准确识别。
双目特征点匹配图
机器人全自主巡航抓取轨迹图
在机器人发现目标后,趋近目标物的过程中,海流的方向和流速都是不可控的,这也给机器人的精准抓取带来很大的难度。“我们通过对机器人的运动轨迹规划并调整机器人的运动控制,来实现机器人精准趋近目标。当发现目标物后,机器人的手眼配合非常重要,团队特别开发了手眼协调控制模型,克服了摄像机和模型参数的不确定性,实现了手眼融合自主作业。”黄海教授表示。
9月17日全自主巡航自主抓取成果
机器人不仅能抓取扇贝,鲍鱼、螃蟹、海参等任何海洋生物在它学习之后都能识别抓取。黄海教授表示,水下抓取机器人不但提高了工作效率,还减少了对海底生态环境的破坏,有利于海生物养殖的可持续发展。团队还将继续改良机器人的各方面性能,通过环境感知和智能决策,实现在复杂环境中对复杂组合体、软体动物甚至生命活体的操作和作业,推动我国水下机器人自主环境感知与作业技术研究应用取得重大突破。
(左起)黄海,杨旭,姜涛,周浩,梅洋,李忻阳,张震坤,靳百达,卞鑫宇,郭腾,吴晗,吕征,王梓铭
“中国水声之父”杨士莪院士:
筑牢“水下国门”,一生为国“听海”!
打通“核电”能量交换“高速路”!
哈工程科研团队攻下卡脖子技术!
60余载打造“水中蛟龙”
你总能在不同时期忍不住爱上哈工程
全省第一!
哈工程22个项目获金奖
哈尔滨工程大学
— heu19530901 —
撰文、编辑 | 朱虹
视频 |张贺
排版 | 李孝龙
责编 | 霍萍
审核 | 吕冬诗 金声