Может ли искусственный интеллект обнаружить тихое отключение Интернета до того, как оно произойдет?

В Интернете могут возникать странные сбои, при которых маршрутизатор, казалось бы, работает нормально, но некоторые пакеты данных автоматически сбрасываются. Сетевые инженеры называют эти проблемы "черными дырами". В таких случаях данные попадают в сеть, но часть из них исчезает без уведомления маршрутизатора сети или отправителя. Часто эти проблемы остаются незамеченными до тех пор, пока пользователи не начнут испытывать проблемы с подключением или потерей данных.

Исследователи из Стамбульского технического университета (ITU) разработали основанный на искусственном интеллекте метод выявления предупреждающих знаков, связанных с молчаливыми сбоями в сетях. Этот подход направлен на переход от простого обнаружения потери пакетов к распознаванию ранних признаков потенциальных сбоев.

Опубликованное в журнале IEEE Transactions on Network and Service Management исследование объединяет различные методы машинного обучения для мониторинга изменения трафика магистральной сети с течением времени. Вместо того, чтобы просто выявлять очевидные проблемы, он выявляет едва заметные предупреждающие сигналы, которые трудно отличить от обычной сетевой активности.

Если этот метод прогнозирования будет доработан для оперативного использования, у сетевых операторов будет больше времени для расследования проблем, перенаправления трафика или принятия превентивных мер до того, как пользователи потеряют связь.

"Черные дыры" трудно предсказать, поскольку они часто не имеют четких предупреждающих знаков. Внезапный и значительный всплеск сетевого трафика обычно легко распознать как ненормальный.

Однако другие проблемы носят более тонкий характер. Например, измерение интенсивности движения может показаться нормальным само по себе, но может вызвать подозрения, если оно происходит в необычное время или неожиданно отличается от движения поблизости. Кроме того, отдельные измерения могут показаться нормальными, но в сочетании они могут привести к необычной закономерности. Они известны как точечные, контекстуальные и коллективные аномалии.

Предыдущие исследования магистральных черных дыр были нацелены на конкретные аномальные поведения, но новый подход направлен на включение всех трех типов в единую систему прогнозирования. Эта система не только выявляет очевидные проблемы, но и оценивает, соответствует ли текущая активность недавним моделям трафика. Это помогает выявлять предупреждающие знаки, которые в противном случае могли бы остаться незамеченными при обычном сетевом трафике.

Predicting black holes is challenging because collecting confirmed examples is difficult. Black holes caused by hardware failures, misconfigurations, routing issues or implementation errors often occur without clear notifications, leaving limited historical data. To address this, the researchers developed a method that learns from unlabeled network traffic.

Instead of requiring engineers to label thousands of instances as "normal" or "black hole," the system detects unusual behaviors directly within the traffic.

It works in stages: First, it identifies the most obvious abnormalities. Instead of removing these, it temporarily smooths them to help the AI understand typical traffic patterns over time. Then, it analyzes sequences to find subtle warning signs that only emerge in context. Technically, this combines clustering, time-series analysis and deep learning in a three-stage forecasting model.

The researchers tested their method using both actual ISP backbone traffic and recognized public network datasets. Their real-world dataset included 17,280 observations taken every five minutes over 60 days. Since real black-hole incidents are inherently hard to detect and label, these data couldn't provide a definitive list of known black holes for validation.

To establish quantitative benchmarks, they also used two well-known labeled network anomaly datasets, UNSW-NB15 and ToN_IoT, converting them into time-series format so their model's performance could be compared with other unsupervised anomaly detection methods.

These public datasets feature different kinds of abnormal and malicious network activities, not actual black-hole incidents, which is important for interpreting the results. On the labeled datasets, their approach achieved a detection rate of up to 98% and an F1 score of around 90%, exceeding the performance of other unsupervised forecasting models in the comparison.

The team also tested their method on the unlabeled real-world ISP data. The experiments showed that their sliding-window approach could identify black-hole patterns shortly before they happened, within the five-minute forecast window.

"The challenge with these failures is that nothing necessarily appears broken. A router can keep functioning while packets quietly vanish, so by the time it's obvious there's a problem, users might already be affected. Our goal is to shift network management toward predicting failures rather than just reacting," said Kiymet Kaya, the study's corresponding author.

The researchers view this work as a step toward developing network management systems that can identify emerging issues rather than just reporting failures after they happen.

With adequate warning, network operators might investigate an affected router, reroute traffic or take other preventive actions before a black hole causes a prolonged communication disruption.

However, the study does not yet prove the system can prevent real-world internet outages. Its effectiveness may vary depending on the network and training data, and modifications to network infrastructure might require retraining the model.

Future research should examine the approach across a wider range of network types and structures, explore automated retraining as networks evolve, and incorporate explainable AI techniques to help operators understand why certain traffic patterns are flagged as suspicious.

Ultimately, the goal is to shift from detecting packet loss to recognizing early warning signs of potential failure, improving how difficult-to-detect network issues are managed.