机器人将受益于整合自然语言反馈以改变其行为的能力。arXiv.org 最近的一篇论文建议使用自然语言指令作为输入来直接修改机器人的规划目标。

研究人员建议学习一种将视觉观察和自然语言校正映射到剩余成本函数的模型。

用户可以在执行过程中随时修改或明确机器人的目标或在运动优化过程中引入额外的约束。该框架与常用的运动规划器成本无缝集成，例如避免碰撞、关节限制和平滑度。

在涉及非模板化自然用户命令、杂乱场景和新对象类型的各种真实世界设置中对模型的评估表明，语言界面可以成功纠正本地规划器的故障。