Функциональное поле Fast: недостающее звено между камерами наблюдения за событиями и роботизированным зрением

На протяжении десятилетий камеры наблюдения за событиями, которые имитируют биологическую сетчатку глаза, непрерывно отслеживая изменения интенсивности освещения, обещали революционизировать восприятие мира роботами, позволяя им реагировать быстрее и работать надежнее, чем это позволяют обычные камеры.

Но интерпретация данных с камер наблюдения, которые напоминают скорее головокружительный поток точек, чем узнаваемую серию изображений, традиционно требовала применения множества специализированных алгоритмов, каждый из которых был создан для решения одной задачи.

Теперь инженеры из Пенсильванского университета разработали Fast Feature Field, или F3, универсальный вычислительный инструмент для эффективного преобразования десятков миллионов сигналов, которые камеры наблюдения генерируют каждую секунду, в информацию, которую могут использовать роботы самых разных типов.

Этот инструмент может преобразить робототехнику, впервые позволив широко использовать камеры для наблюдения за событиями на таких платформах, как самоуправляемые автомобили и дроны, улучшив способность роботов распознавать объекты, оценивать расстояния и воспринимать движение в самых разных условиях освещения.

"Мы ожидаем, что это станет переломным моментом в истории камер для проведения мероприятий, которые покажут, как сделать обработку событий с помощью камер надежной, быстрой и широко полезной", - говорит Пратик Чаудхари (Pratik Chaudhari), доцент кафедры электротехники и системной инженерии (ESE), специалист по компьютерным и информационным наукам (CIS) и старший научный сотрудник. автор новой статьи в области научной робототехники.

"Fast Feature Field может сделать роботов, которые все чаще заполняют наше небо и улицы, намного безопаснее, помогая им более точно видеть мир".

В отличие от обычных камер, которые записывают полные изображения с регулярными интервалами (например, 30 кадров в секунду), камеры для проведения мероприятий непрерывно реагируют на поступающий свет. "Камеры наблюдения за событиями похожи на палочки и колбочки в сетчатке млекопитающих", - говорит Костас Даниилидис, профессор Рут Ялом Стоун в СНГ и соавтор статьи. "Они обнаруживают изменения в освещенности и могут сказать вам, когда определенные области стали ярче или темнее".

Но в отличие от биологических глаз, у которых есть дополнительные слои клеток для интерпретации этой информации, у событийных камер никогда не было общего способа извлекать значимые закономерности из своих собственных данных. "В сетчатке есть много клеток, помимо палочек и колбочек", - добавляет Ричик Дас, докторант из СНГ и первый автор статьи. "Ганглиозные клетки, например, распознают движение и цвет, в то время как такие структуры, как амакриновые клетки, помогают подавлять избыточную информацию".

The lack of software to take the place of that additional processing has been a central hurdle to event cameras catching on beyond limited research applications. "Without the ability to remove redundant information," says Chaudhari, "the data from an event camera is far too noisy and voluminous to use directly."

The researchers initially tried to solve the problem by using mathematical techniques for summarizing visual information and sought to develop the equivalent of the fast Fourier transform, a widely used tool in signal processing for breaking complex signals into their component parts, for event cameras.

But after months of experimentation, the team struggled to find an approach that could reliably process the vast flow of information from an event camera and capture the layout of a scene and motion within it.

Eventually, the researchers realized that they could train a neural network, a form of AI that learns from data, to discover its own way of summarizing the signals. The question was how to teach it which patterns to recognize.

The answer, they found, was prediction. "To accurately anticipate future events based on past ones, the network must learn to represent both the structure of a scene and the motion taking place within it," says Das. "By training F³ to predict future events, we could teach it to identify the underlying patterns in the data without designing a separate approach for every task."

The result was a general-purpose way to represent event-camera data. But turning that insight into software fast enough for robots to use presented another challenge. "Our initial implementation was too slow for the rapid, real-time perception that makes event cameras so appealing," says Chaudhari.

The solution came from recognizing that most of the possible positions where an event could occur were actually empty. "Even though an event camera can produce tens of millions of signals per second, roughly 95% of the possible positions in the data contain no events at all," says Das.

In other words, most of the camera's pixels have nothing new to report at any given moment. "We realized we could perform calculations only where events actually occur," adds Das, "rather than processing all that empty space."

Earlier this year, Sony AI unveiled Ace, a ping-pong-playing robot that uses event cameras to track the speed and spin of a ball, allowing it to compete with and defeat professional players.

However, Ace's sophisticated vision system was developed specifically for table tennis, illustrating a longstanding obstacle to the wider adoption of event cameras: Engineers have traditionally had to develop specialized software for each new application, rather than relying on existing computer-vision tools.

"Just as compression formats like JPEG and MPEG made it easier to share pictures and videos across different devices," says Daniilidis, "F³ gives event cameras a common language, transforming their signals into a format that the enormous range of software already developed for conventional cameras can be adapted to use."

To demonstrate that versatility, the researchers tested F³ on tasks ranging from recognizing objects to estimating distances and tracking motion, using data collected from cars, four-legged robots and flying drones, all in environments that varied from urban streets at night to crowded indoor spaces.

The results combined accuracy with speed: F³-based approaches achieved state-of-the-art performance on multiple robotic perception tasks. Algorithms using F³ were roughly two to five times faster than previous approaches, and F³ itself processed high-definition event-camera data 120 times per second, or 440 times per second at lower video graphics array (VGA) resolution. "F³ can enable real-time event-based perception for many different kinds of robots," says Das.

In ongoing work with Dexter Ong and Ioannis Asmanis, both doctoral students in CIS, the team is using F³ to build autonomous drones that can navigate cluttered and poorly lit environments using event cameras. "It opens up exciting possibilities for agile drones," says Daniilidis. "F³ has become a key component of our pipeline."

Eventually, the researchers envision baking F³ directly into the circuitry of event cameras, where it could function like an efficient camera driver, automatically transforming raw signals into a format that existing computer-vision software can readily use.

"Our goal is to make using an event camera as straightforward as using a conventional one," says Chaudhari. "We want engineers to be able to take advantage of these cameras' extraordinary capabilities without having to reinvent the software every time they want a robot to do something new."