Обучающая платформа с использованием искусственного интеллекта помогает роботам мыслить не только буквальными командами

Люди по своей природе обладают интуицией. Мы можем воспринимать значение не только буквальных слов, с которыми сталкиваемся. Теперь новая обучающая платформа с использованием искусственного интеллекта, разработанная инженерами Массачусетского технологического института, позволяет роботам распознавать более широкий смысл в командах на естественном языке человека.

В исследовании, которое будет представлено на ежегодной конференции по обучению роботов в этом месяце, исследователи из Массачусетского технологического института и Нью-Йоркского университета представили FLEX - гибкий конвейер редактирования функций для планирования движения робота.

С помощью FLEX люди могут взаимодействовать с роботом, давая ему инструкции на естественном разговорном языке. Робот может не только буквально следовать инструкциям, но и вчитываться в слова, чтобы сделать более широкие обобщения, которые помогают улучшить его задачу по планированию движения.

Команда продемонстрировала FLEX в нескольких смоделированных сценариях, включая тот, в котором робот подает чашку кофе. В этих виртуальных сценариях человек взаимодействует с роботизированной рукой, вводя команды на естественном языке. Когда робот передвигает кофейную чашку по загроможденному столу, человек может напечатать: "Не проливайте кофе на ноутбук!" В ответ робот объяснит, почему ему следует избегать использования ноутбука. Для этого FLEX использует large language model (LLM) — тип системы искусственного интеллекта, которая обучается на огромных библиотеках текстов, включая публикации в социальных сетях, транскрипции видео и веб-контент, которые LLM использует для выявления более крупных тенденций, закономерностей и обобщений.

"Магистры видели так много текстов из Интернета", - говорит автор исследования Натан Деннлер, постдок Лаборатории компьютерных наук и искусственного интеллекта Массачусетского технологического института (CSAIL). "Люди могли написать что-то вроде: "О, мой телефон упал в воду, и теперь он не работает" или "Я пролил кофе на свой компьютер, и теперь он не работает". Таким образом, магистранты понимают, что жидкости в сочетании с устройствами приводят к тому, что что-то не работает".

С помощью LLM робот объясняет, что ему также следует избегать столкновений с электроникой. В обновленном path робот подстраивается таким образом, чтобы не задевать как ноутбук, так и стоящий рядом телефон, причем человеку не нужно специально объяснять это.

"Идея в том, что за словами, которые вы произносите, стоит некое намерение более высокого уровня", - говорит Деннлер. "Люди, естественно, понимают это. Но вы должны тщательно объяснить это роботу, что требует времени и усилий. FLEX предоставляет вам интерфейс для общения с роботом, позволяющий сказать: "Когда люди говорят это, они имеют в виду то".

Исследованием руководила Андреа Бобу, доцент кафедры аэронавтики и астронавтики Массачусетского технологического института. Соавторами являются Одри Ли SM ’26 и Илья Сухолуцкий из Нью-Йоркского университета.

Помимо того, что мы говорим

В Массачусетском технологическом институте Бобу возглавляет лабораторию совместного обучения и автономных исследований (CLEAR), где ее группа разрабатывает автономных агентов, которые учатся работать на людей, с ними и в окружении них. Она сосредоточена на разработке вспомогательных и бытовых роботов, которые могут выполнять физические задачи, рассуждать и адаптироваться в режиме реального времени в ответ на естественные разговорные команды человека.

"Robots use math to do their trajectory planning. But we can’t expect a consumer to learn to do this math in order to tell a robot what to do," says Dennler, who is a member of the CLEAR Lab. "Instead of having to get people to learn how to use a robot in a specific way, the goal is to interact with the robot through natural language."

There is a large effort in the robotics community to incorporate natural language into robotic learning pipelines. Various strategies include using language to clarify a task’s goal, redirect a robot’s trajectory, and update its understanding of what is a safe path to take. These existing methods use natural language to tell the robot how to physically perform a task. But a robot could potentially learn much more from what we tell it.

Bobu and her colleagues are expanding what robots can learn from natural language commands. In their new study, they focused on enabling a robot to interpret a person’s underlying, unspecified preference from limited natural language commands.

Absorbing common sense

The team’s new robot learning platform, FLEX, is a three-step process that helps a robot read more into a natural language command, beyond what it is explicitly told to do.

The first step, "Add," instructs a robot to add a feature to its list of things in its environment that matter for the task at hand, based on a user’s natural language command. For instance, as a robot is moving a bowling ball from one location to another, a person might interject with "Don’t drop it on my mug!" The robot would then add the mug to a list of things to avoid in its path. This first step is how previous methods have worked. Every time a person makes a correction, the robot adds to its features list, and updates its trajectory to avoid those features.

"The problem happens when your feature list becomes super long, and some features are no longer relevant because your environment may have changed," says Dennler, who notes that this approach can grow tiresome if a person has to specify every specific feature to avoid.

The second step, "Generalize," is the new solution that FLEX provides. This step incorporates an LLM — in this case, GPT-4o — that considers the mug, along with any other features that the person has so far specified to avoid. The LLM automatically searches through its vast cache of data for patterns and connections among these features, to ultimately make a generalization that it should avoid objects that are fragile, even when the person has not explicitly said so.

"LLMs have seen so many texts from the internet, from all sorts of people and places," Dennler says. "Because they’ve trained so much on those things, some of that common sense gets absorbed into the LLM."

In the third step, "Mask," the robot’s standard computer vision system assesses its environment to determine what objects are no longer present, and then deletes those objects from its features list. This entire three-step process takes about five seconds.

The team tested FLEX in simulations of a robot arm carrying out three different tasks: serving a cup of coffee, moving a candle, and carrying a bowling ball. In all three scenarios, volunteers interacted with the virtual robot by typing natural language commands, such as "Don’t spill on my laptop," "Stay away from the stack of paper," and "Don’t drop on the mug." With FLEX, the robot followed all three commands literally and also reasoned at a higher level to not spill on electronics, stay away from flammable objects, and not drop its cargo on fragile things.

"Everyone’s homes are different, and everyone cares about different things, so no robot comes out of the box knowing what matters to you," Bobu says. "What excites me about FLEX is that it can pick that up from a sentence or two instead of asking you to spell out every rule — and that’s the difference between a robot people put up with and one they actually want in their home."

This work was partly supported by the MIT Generative AI Impact Consortium and the MIT Schwarzman College of Computing’s Social and Ethical Responsibilities of Computing program.

>