Ускоряем работу роботов, помогая им думать наперед

Новый метод, разработанный исследователями Массачусетского технологического института, позволяет роботам лучше думать о будущем во время выполнения действий, что приводит к более плавным движениям и быстрой реакции.

Этот метод позволяет модели искусственного интеллекта, которая планирует движение робота, прогнозировать его будущее положение. Модель использует этот прогноз для плавного перехода от текущих движений к следующим действиям.

Многие существующие методы заставляют робота останавливаться и думать о том, что ему нужно делать дальше, что приводит к медленным и резким движениям. Благодаря тому, что расчеты основаны на будущем состоянии робота, а не на его текущем положении, метод Массачусетского технологического института помогает роботам работать намного быстрее.

Важно отметить, что этот метод не требует дополнительных вычислительных затрат в процессе планирования и может быть применен к разнообразному роботизированному оборудованию.

Этот новый метод удвоил скорость выполнения роботами таких действий, как выбор и размещение объектов, и значительно сократил время задержки между движениями. Это также повысило эффективность роботизированных манипуляторов в таких высокодинамичных видах деятельности, как игра в настольный теннис и погоня за кротом.

Система может быть особенно полезна для роботов, которые выполняют быстрые и маневренные маневры в сложных реальных условиях, таких как реагирование на чрезвычайные ситуации или поисково-спасательные работы. Это также может позволить роботам быстрее реагировать, восстанавливаясь после ошибок.

"Эта работа создает хорошую основу для эффективного, быстрого, ускоренного и недорогостоящего применения робототехники. Мы с нетерпением ждем возможности расширить нашу работу, используя новейшие модели world action, чтобы у нее были еще более широкие возможности, поскольку мы продолжаем работать над ускорением физического ИИ", - говорит Сон Хан, доцент кафедры электротехники и компьютерных наук Массачусетского технологического института (EECS), сотрудник исследовательской лаборатории электроники, и ведущий автор статьи, посвященной этому методу.

К Хану присоединились соавторы статьи Джиминг Тан, аспирант Массачусетского технологического института, и Юфей Сун, студент Университета Цинхуа, а также другие сотрудники Nvidia, Калифорнийского университета в Беркли, Калифорнийского университета в Сан-Диего и Калифорнийского технологического института. Результаты исследования будут представлены на конференции "Интеллектуальные роботы и системы".

Прогнозирование будущего

В современных приложениях робототехники генеративные системы искусственного интеллекта, называемые моделями vision-language-action (VLA), действуют как мозг робота, планируя его следующие действия и выполняя их.

Модель VLA использует данные наблюдения за окружающей средой с камеры робота и инструкции о его задаче, выводит следующие несколько движений в виде одного блока действий, а затем выполняет эти действия на оборудовании робота.

Но логический вывод VLA — процедура в режиме реального времени, во время которой модель обрабатывает визуальные данные, обосновывает задачу и выводит действия, - требует больших вычислительных затрат, поэтому робот может делать значительные паузы при планировании своих следующих действий. Эти паузы нарушают плавность его движений и замедляют реакцию на изменения в окружающей среде.

"Our motivation was to overlap the thinking process with the execution process to make the reaction speed faster," Tang says.

The MIT researchers developed a new system called VLASH that enables a VLA to predict the future state of the robot and its environment. It uses this information to plan the next set of motions while the robot is completing the current action chunk.

This solves a major hurdle faced by many other methods, which use the current state of the robot to predict its next moves.

"Since the environment will change after the robot moves, if we plan based on stale observations of the current environment, there will be a misalignment that causes very unstable control," Tang explains.

VLASH avoids this misalignment due to a key insight by the researchers. Although the model doesn’t know exactly what the environment will look like in the future, it does know the robot’s current position and how it will move to perform the actions it is about to take.

The framework uses this information to predict the state of the robot after it completes its current chunk of actions. It uses that estimation to plan the next motions.

"In this way, we give the robot awareness of its future state," Tang says.

Augmenting acceleration

On its own, this technique speeds up the robot’s motions by eliminating lag time that usually occurs between action chunks, accelerating reaction speeds more than 30-fold.

But to make their approach even faster, the MIT researchers generate coarser chunks of actions, so the robot executes a few larger steps that follow the same trajectory. This technique is called action quantization.

While action quantization led to a slight dip in accuracy, it enables a robot to complete the overall task two to three times faster.

However, the researchers found that simply feeding future robot states to the VLA during deployment is not enough to enable accurate and stable control of the robot.

They developed a training-augmentation method that groups training data in such a way that the VLA learns to use future state information instead of current observations.

By reusing some training data, this fine-tuning method accelerated training fivefold with no additional computational overhead.

"Even though there is a very large model working in the background, VLASH lets the robot react and execute its actions very fast, much more like a human would. This could help to make robots for all sorts of dynamic tasks more effective," Tang says.

When compared with baseline methods in simulation, VLASH consistently performed faster while maintaining the accuracy of robotic maneuvers. The system also outpaced these methods on real hardware in pick-and-place, stacking, and sorting tasks.

For instance, VLASH placed cubes in a box while sorting them by color twice as fast as these methods, while achieving the same 90 percent accuracy as the best baseline. The system can also perform highly dynamic tasks like playing ping-pong and whack-a-mole.

In the future, the researchers want to combine VLASH with more powerful generative AI systems called world models that can predict the robot’s actual environmental observations, in an effort to boost performance and open new applications.

This work is supported, in part, by the MIT-IBM Computing Research Lab, Amazon, the National Science Foundation, and Nvidia.

>