李飞飞团队最新研究:神经任务编程NTP,让机器人具有强...

李飞飞团队最新研究:神经任务编程NTP,让机器人具有强大泛化能力_IT新闻 发表时间:2017-10-13 10:35

点上方绿标即可收听朗读音频

双击文章内容从指定位置处朗读

  9 月 26 日在温哥华举行的 IROS 大会上计算机视觉专家、斯坦福 AI Lab&Vision Lab 主任李飞飞做了“A Quest for Visual Intelligence”的演讲这也是李飞飞首次参加 IROS 这一机器人为主题的大会值得注意的是近日雷锋网(公众号雷锋网)在 Arxiv 发现了一篇讲述新型机器人学习框架的论文《Neural Task Programming: Learning to Generalize Across Hierarchical Tasks》该论文的主要作者来自于斯坦福其指导教师正是李飞飞及其丈夫 Silvio Savarese这也标志着人工智能和机器人两个社区在视觉与感知方面的重合度越来越大之后的合作也会越来越紧密

  下面雷锋网和大家来一起看这篇论文

  摘要 在本论文中我们提出了一种名为神经任务编程(NTP)的新型机器人学习框架该方法可以通过较少的示范和神经程序引导进行学习NTP 可将输入的规范性任务(例如任务的视频演示)递归地将其分解成更精细的子任务规范 这些规范被传递到分级神经程序通过可调用的底层子程序是与环境进行交互同时我们在三个机器人操纵任务中验证了我们的方法在试验中NTP 展示了在显示分层结构和组合结构的顺序任务的强泛化能力化 实验结果表明NTP 在学习长度不定、可变拓扑和不断变化的未知任务的学习和拓展有较好的效果

  背景

  自越来越强调“人机协作”的今天机器人通常在某些特定环境中与人进行长时间的交互如物体分类、装配、和清理等但是以往的机器人通常需要在固定的场景下才能与人交互如何让机器人能适应复杂的操作任务、新的任务目标和周围环境则是机器人技术中的一个重大挑战

  设想一个仓库中的物体分类任务这通常包括分类、检索、打包等具体任务每个任务又可以分解为若干个动作如抓取、移动、放下等这些动作构成了如抓取和放置等子任务如果在考虑到不同的对象、排序、子任务的排列组合当中的变化将会非常复杂例如将四类物品分类放到四个容器中这当中的组合会有 256 中之多本文中我们希望解决复杂任务规划的两个主要挑战即a)从新的概念化到新的任务目标的学习策略以及b)与长期环境交互的基本原生代码模块的组合

  神经任务编程(NTP)原理

  NTP 的关键基本思想在是跨任务学习和与共享域中的可重用表示NTP 对一个描述任务过程和最终目标时间序列的任务规范进行解释并将其分层策略实例转化为一个神经程序NTP 从输入规范中解码生成任务目标并将其分解为子任务并与周边环境进行交互和反馈直至搭成目标每个程序调用环境观察和任务规范(输入)并输出下一个子程序和相应的子任务规范

  如上图所示在给定输入、任务规范和当前环境的情况下NTP 模型预测需要运行什么样的子程序并作为下一级子任务的输入并判断当前程序是否结束否则将继续循环执行任务

  测试

  该研究团队通过对模拟和实际机器人实验中的单臂操作任务模拟对 NTP 进行评估任务包括堆叠方块目标分类和清理桌子

  该研究的两个目标I. 在同一个域中学习多项任务以及 II. 通过单一例子形成在测试中的泛化能力

  如图所示机器手可从模拟的 Demo 环境(包括图像、视频、VR 输入)中进行学习并完成积木的堆叠

  NTP 编程通过分级的任务条件输出策略归纳程序调用 Robot API 进行操作

  上图展示了在堆叠方块任务中 NTP 的样本执行轨迹图任务是按指定要求堆叠字母块顶层程序作为输入参与整个演示预测下一个运行的子程序并为特定输入作为指定任务的一部分底层 API 调用机器人作出相应的动作(如 Move_to (Blue)、Grasp (Blue)等)当程序结束符(EOP)为 True当前程序停止并返回其调用程序

  如果环境发生变化(如人为破坏已完成的任务)机器人会探测到环境的变化并重复任务

  任务结构的变化包括改变完成条件(任务语义)可变子任务排列(任务拓扑)和更大的任务量(任务的长度)随着任务数量的增加NTP 可以为新的任务师范及目标生成更好的结果

  完整演示视频见https://v.qq.com/x/page/k0559x1cyys.html?start=37

  类似的研究还有雷锋网之前介绍过的 BAIR《One-Shot Visual Imitation Learning via Meta-Learning》的论文都是通过一次性学习形成的泛化能力让机器人快速掌握新技能相比之下BAIR 的论文更偏于算法的迭代改进而 Visual Lab 的研究则从任务结构出发提出了一种新的学习框架雷锋网认为虽然李飞飞团队之前的研究更多是在计算机视觉领域但正是如此才有可能从机器人领域研究者习惯的视角外去思考问题这篇论文提出的新思路也值得机器人研究者注意

亲,眼睛太累了,关注exread(睿读)微信号,用耳朵“阅读”微信。

您可以将文章的链接或收藏的微信发送到睿读微信号中,我们会帮您转换成音频来听读,让您的眼睛休息一下吧!
查看来源 违规举报