最新工作基于谷歌的PaLM-SayCan模型，让机器人能够理解人类的开放式提示，并在物理空间中合理、安全地做出反应。它还建立在OpenAI的GPT-3LLM和自动代码完成方面的相关工作之上，例如GitHub的Copilot功能。
“如果得到人类的指令，机器人可以自主编写自己的代码与世界互动呢?”谷歌的研究人员说。谷歌表示，最新一代的语言模型，如PaLM，能够进行复杂的推理，并且已经过数百万行代码的训练。“鉴于自然语言指令，当前的语言模型不仅擅长编写通用代码，而且正如我们所发现的那样，还擅长编写可以控制机器人动作的代码。”
GoogleResearch将其新开发称为“代码即策略”，并断言编写代码的LLM可以重新用于编写机器人策略代码以响应自然语言命令。
“当提供几个示例语言命令(格式为注释)和相应的策略代码(通过少量提示)作为输入时，LLM可以接收新命令并自动重新组合API调用以分别生成新的策略代码，”谷歌研究人员新论文中的注释，代码即策略：体现控制的语言模型程序。
在给出的示例中，用户会说“将积木堆放在空碗上”或“将积木放在靠近顶部的水平线上”正方形2D周长。谷歌的语言模型生成程序然后用Python编写代码，以准确地指示机器人遵循口头命令。它依赖于Python编程的结构，但也使用了Shapely等库，在这种情况下用于空间几何推理。
谷歌声称的改进是语言模型比直接学习机器人任务和输出自然语言动作更好。
“CaP扩展了我们之前的工作，PaLM-SayCan，通过使语言模型能够使用通用Python代码的完整表达来完成更复杂的机器人任务。借助CaP，我们建议使用语言模型通过少镜头直接编写机器人代码提示，”谷歌研究指出。
除了推广到新指令外，谷歌表示，这些模型可以根据“更快”或“向左”等模棱两可的描述翻译精确的值，比如速度。CaP还支持非英语语言甚至表情符号的说明。
虽然该模型可以编写代码来指示机器人将不同颜色的块推到2D正方形的顶部，但它不能翻译更复杂的指令，例如“用这些块建造房子”，因为它没有3D参考，据谷歌称.
它还警告说，虽然CapP为机器人提供了额外的灵活性，但这也“增加了潜在的风险，因为合成程序(除非在每个运行时手动检查)可能会导致物理硬件的意外行为。”