Искусственный интеллект может помочь лучше управлять фабриками: Thesis улучшает качество 3D-моделей

Цифровые двойники - это виртуальные 3D-копии реальных помещений, таких как фабрики, склады и промышленные предприятия. Компании используют их для мониторинга оборудования, планирования технического обслуживания и моделирования изменений без сбоев в работе.

Чтобы цифровой двойник был действительно полезен, система должна понимать, что на самом деле представляет собой каждый объект в сцене: какая часть является трубой, какая - контейнером, какая - машиной. Идентификация и маркировка этих объектов известна как проблема сегментации.

В диссертации Офии Рахман Алиф рассматривается эта проблема. Исследование было проведено в сотрудничестве между Университетом Хельсинки и финской компанией Twinverse, которая занимается созданием цифровых двойников сложных промышленных объектов.

"Это исследование стало возможностью, которой мы не смогли бы воспользоваться в противном случае. Результаты были впечатляющими, и мы по-прежнему открыты для продолжения сотрудничества в будущем. Я призываю компании проявлять активность и понимать, что такое академическая диссертация, как направлять и подталкивать авторов к тому, чтобы они старались изо всех сил. Это практически не требует затрат для компании, за исключением временных затрат, и дает действительно полезные результаты", - говорит Артту Юлин, технический директор Twinverse.

В диссертации Алифа представлен систематический анализ того, в чем заключается эффективность этого подхода, а в чем его недостатки в реальных промышленных условиях. В ней рассматривается, как качество 3D-реконструкции влияет на точность сегментации, как настройка камеры изменяет результаты и как согласованность и точность маскировки объектов влияют на конечный результат.

"В моем анализе также рассматриваются условия, которые затрудняют работу ИИ в промышленной среде: темные металлические поверхности, сложная геометрия, объекты, которые частично скрыты от глаз, и объекты, которые выглядят очень похожими друг на друга. Каждый из этих факторов влияет на разные этапы конвейера", - объясняет Алиф.

Чтобы сделать сравнения более конкретными, методы повышения производительности искусственного интеллекта были протестированы как на реальных промышленных наборах данных, предоставленных Twinverse, так и на стандартных тестовых сценах, обычно используемых с помощью 3D-гауссовского разбрызгивания (3DGS), метода, который реконструирует реальное пространство в виде миллионов крошечных 3D-фигур, размещенных на фотографиях, сделанных с разных ракурсов. Это позволило провести прямое сравнение между идеализированными условиями и более запутанной реальностью действующего промышленного объекта.

Результаты показывают, какие части конвейера сегментации готовы к практическому использованию, а над какими еще нужно поработать, прежде чем можно будет надежно автоматизировать маркировку объектов в промышленных цифровых двойниках.

Alif's thesis builds on three existing methods. The first, 3DGS, produces photorealistic 3D reconstructions from regular camera images and their corresponding camera poses.

The second is FlashSplat, a research method that assigns each of these 3D shapes to a specific object using a voting mechanism across multiple camera views. The third tool is SAM2 (Meta's Segment Anything Model 2), an AI that can identify and outline objects in images.

"A central contribution of my thesis is a pipeline that connects these tools. SAM2 generates object outlines, or masks, from the images. SAM2's video tracking then keeps those masks consistent across different camera viewpoints, and the results feed into FlashSplat's 3D voting system."

The thesis also introduces an adaptive component that automatically selects the best SAM2 settings for each scene, based on characteristics such as lighting, how reflective the surfaces are and how complex the scene is.

"The most surprising result was that giving the AI more data actually made it perform worse, not better. A small, carefully checked set of inputs produced a far cleaner result than a much larger but noisier one. It turns out the system has no way to undo a bad piece of evidence once it's factored in, so a few mistakes can outweigh a lot of extra data. It was a good reminder that in AI, quality often matters more than quantity.

"Moving from controlled research datasets to a real industrial environment was a much bigger jump. The tools I started with worked better on clean, controlled scenes but broke in unexpected ways once I tested them in an actual industrial environment. The biggest lesson was that failure isn't a dead end if you can explain it, and understanding why something breaks is often as valuable as getting it to work," Alif sums up.