Искусственный интеллект, компьютерная графика и волновая оптика в сочетании создают более реалистичные голографические дисплеи виртуальной и дополненной реальности

Объединив компьютерную графику, волновую оптику и калибровку на основе искусственного интеллекта, исследователи из Университета Гонконга (HKU) разработали два метода, которые помогают голографическим дисплеям воспроизводить более естественные изменения фокуса, перспективы и внешнего вида материала.

Возглавляемая профессором Ифанем Эваном Пенгом (Yifan Evan Peng) с кафедры электротехники и вычислительной техники инженерного факультета HKU, команда объединяет 3D-компьютерные модели с расчетами того, как распространяется свет и как возникают помехи. Один из методов сохраняет геометрию и глубину сцены, превращая ее в голограмму; другой следует за светом, когда он отражается, изгибается и рассеивается по сцене.

Продемонстрированные с помощью компьютерного моделирования и прототипов лабораторных дисплеев, эти методы решают ключевую задачу для будущей виртуальной и дополненной реальности (VR/AR): превращение детализированных цифровых миров в убедительные трехмерные визуальные образы.

Когда люди осматривают помещение, ближние и удаленные объекты попадают в фокус на разном расстоянии. Поверхности, скрытые под одним углом, открываются с другого, а блики на глянцевых материалах смещаются. Голографические дисплеи призваны воспроизводить эти знакомые сигналы, реконструируя световые волны, а не просто отображать плоское изображение.

Но рассчитать эти волны сложно. Многие существующие методы сначала описывают сцену, используя изображения с выбранной глубины или точки обзора, а затем преобразуют эти изображения в голограмму. Важная информация может быть потеряна между двумя этапами съемки, что приведет к неестественным изменениям в размытости, неправильной видимости или визуальным эффектам, которые будут работать только с определенных позиций просмотра.

В одном исследовании, опубликованном в Nature Communications, исследователи начали с полигональных сеток — соединенных участков поверхности, используемых для построения 3D-моделей в анимации, инженерной и научной визуализации. Это дает расчету голограммы описание поверхностей и глубины сцены, а не просто набор плоских изображений.

"Использование сеток позволяет нам сохранять трехмерную структуру сцены на протяжении всего процесса создания голограммы", - сказал Сянъюй Мэн, соавтор обоих исследований.

Команда разработчиков также обращает внимание на яркость изображения. При оптимизации сохраняются как амплитуда световой волны, которая соответствует ее силе, так и фаза, которая описывает ее положение в цикле колебаний. Вместе они помогают определить, как распространяется свет и как формируется изображение на разных глубинах.

Калибровка на основе искусственного интеллекта помогает сократить разрыв между расчетами и реальным отображением. Используя измерения с камеры, обученная модель учитывает недостатки оптической системы. В ходе лабораторных испытаний этот подход позволил добиться более плавного изменения фокусировки и более четкой детализации изображения, а также позволил объектам, скрытым с одной точки обзора, стать видимыми с другой.

In the second study, published in ACM Transactions on Graphics, HoloPathTracer tackles another challenge—how light interacts with materials. A mirror reflects the scene around it, glass bends light passing through it, and a glossy surface sends different amounts of light in different directions.

To capture these effects, the researchers combine path tracing, which is a computer graphics technique that follows light through a virtual scene, with wave optics. Instead of calculating only the brightness of an image, the method also retains the phase information needed to form a hologram.

"HoloPathTracer further models how light physically interacts with scene geometry and materials," said Wenbin Zhou, the co-first author of both studies.

The resulting holograms reproduce effects including reflections, refractions, shifting highlights and indirect illumination, alongside natural changes in focus and viewpoint. The team also reduces repeated computation by reusing light paths when generating multiple holograms for display in rapid succession and by caching parts of the scene's lighting.

The two studies address different parts of the same goal. The mesh-based approach provides a calibrated route from familiar 3D models to holographic images, while HoloPathTracer extends what those images can show by modeling more complex interactions between light and materials.

The work remains at the research-prototype stage. Real-time consumer applications will require faster computation and further advances in spatial light modulators—the devices that shape light in a holographic display—and the surrounding optics.

"We believe this direction could help enable more natural and visually realistic holographic experiences for future VR and AR systems," said Peng.