虽然机器人专家在过去几十年中推出了越来越复杂的系统，但教会这些系统成功可靠地处理新任务往往颇具挑战性。这种训练的一部分需要将高维数据(例如机载 RGB 摄像头收集的图像)映射到面向目标的机器人动作。
伦敦帝国理工学院和戴森机器人学习实验室的研究人员最近推出了 Render and Diffuse (R&D)，这是一种使用机器人系统的虚拟 3D 渲染将低级机器人动作和 RBG 图像统一起来的方法。这种方法在 arXiv 预印本服务器上发表的一篇论文中介绍，最终可以促进教授机器人新技能的过程，减少许多现有方法所需的大量人工演示。
“我们最近的论文的目标是让人类能够有效地向机器人传授新技能，而无需进行大量演示，”伦敦帝国理工学院最后一年的博士生兼主要作者 Vitalis Vosylius 表示。“现有技术是数据密集型的，难以进行空间泛化，当物体的位置与演示不同时，性能不佳。这是因为当数据有限时，从 RGB 图像中预测精确的动作作为数字序列极具挑战性。”
在戴森机器人学习实习期间，Vosylius 参与了一个最终促成研发发展的项目。该项目旨在简化机器人的学习问题，使它们能够更有效地预测动作，从而完成各种任务。
与大多数机器人系统不同的是，人类在学习新的手工技能时并不会进行大量计算来确定四肢应该移动多少。相反，他们通常会试着想象自己的手应该如何移动才能有效地完成一项特定的任务。
“我们的方法，即渲染和漫反射，允许机器人做类似的事情：使用虚拟渲染器‘想象’它们在图像中的行为，”Vosylius 解释道。“将机器人的行为和观察结果一起表示为 RGB 图像，使我们能够用更少的演示教机器人完成各种任务，并且具有更好的空间泛化能力。”
可视化两个不同摄像头的 RGB 观测结果，并在时间步骤 t + 1 和 t + 8 处渲染放下马桶座圈的动作表示。来源：Vosylius 等人。
机器人要学会完成一项新任务，首先需要根据传感器捕捉的图像预测自己应该采取的动作。研发方法本质上是让机器人更有效地学习这种图像与动作之间的映射。
“正如其名称所暗示的那样，我们的方法有两个主要组成部分，”Vosylius 说道。“首先，我们使用机器人的虚拟渲染，让机器人以它看到环境的方式‘想象’自己的动作。我们通过渲染机器人在采取某些动作时最终会处于的配置来实现这一点。
“其次，我们使用学习到的扩散过程，反复细化这些想象的动作，最终形成机器人完成任务所需采取的一系列动作。”
利用广泛使用的机器人 3D 模型和渲染技术，研发可以大大简化新技能的获取，同时还可以显著减少训练数据要求。研究人员在一系列模拟中评估了他们的方法，发现它提高了机器人策略的泛化能力。