Алгоритмы машинного обучения: какие бывают и как работают

Алгоритмы машинного обучения помогают ИИ-моделям находить закономерности в данных и использовать их для решения задач. В зависимости от метода модель может классифицировать информацию, делать прогнозы или выявлять скрытые связи. Разберем основные алгоритмы, их особенности, преимущества и ограничения.

• Алгоритмы для регрессии
• Алгоритмы для классификации
• Методы для кластеризации
• Алгоритмы для анализа компонентов
• Алгоритмы для сложных задач
• Применение алгоритмов машинного обучения

Регрессионные алгоритмы машинного обучения используют для прогнозирования числовых значений на основе имеющихся данных. Например, с их помощью можно оценить будущую нагрузку на сервер, спрогнозировать стоимость оборудования или рассчитать спрос на продукт.

В этом разделе рассмотрим линейную регрессию (Linear Regression). Отдельно отметим, что логистическая регрессия, несмотря на название, относится к алгоритмам классификации. Она определяет вероятность принадлежности объекта к определенному классу, поэтому мы разберем ее в соответствующем разделе.

Линейная регрессия — машинный алгоритм, который с помощью линейной функции описывает зависимость целевой переменной от одного или нескольких признаков. Его используют для прогнозирования числовых значений на основе известных данных.

Например, модель может оценить стоимость квартиры с учетом площади, расположения и количества комнат. Чтобы такое уметь, она должна обучиться на выборке данных. Для нашего примера это сведения о похожих объектах и ситуации на рынке.

Метод основан на уравнении прямой. Базовое выглядит так:

ŷ = b₀ + b₁x

Расшифруем:

• ŷ — прогнозируемое значение;
• x — исходник для прогнозов;
• b₀ — свободный коэффициент, начальное значение при х=0;
• b₁ — коэффициент, который показывает, как меняется прогнозируемое значение при изменении x на единицу.

Рассмотрим применение формулы на примере. Компания хочет спрогнозировать количество продаж в зависимости от расходов на рекламу. Для этого она анализирует данные за прошлый квартал и получает уравнение ŷ = 100 + 5x. Число 100 — прогнозируемое количество продаж при нулевых расходах на рекламу, а 5 — прирост продаж на каждые 1 000 ₽ рекламного бюджета. Предположим, компания потратила на рекламу 10 000 ₽. Подставляем это значение в формулу (x = 10): ŷ = 100 + (5 × 10) = 150. Таким образом, модель прогнозирует 150 продаж.

Линейная регрессия быстро обучается, подходит для работы с числами и позволяет оценивать влияние отдельных факторов на результат. Однако она слабо описывает нелинейные зависимости и чувствительна к расхождениям в представленных данных.

Выбор алгоритма и обучение модели — только часть работы с машинным обучением. Чтобы модель могла обрабатывать запросы и выдавать прогнозы, ее нужно развернуть в рабочей среде.

Для этого подойдет Evolution ML Inference — сервис для запуска и развертывания ML-моделей на облачных GPU. Он поддерживает модели из Hugging Face, пользовательские Docker-образы и разные среды исполнения, включая vLLM, TGI и Ollama.

Такие алгоритмы помогают разделять объекты на категории с учетом характеристик. Например, с их помощью можно определить, является ли электронное письмо спамом, относится ли транзакция к подозрительным и прочее. Алгоритмы решают эту задачу по-разному. Одни сравнивают объекты с примерами, другие — опираются на правила, третьи — объединяют несколько моделей для точного результата.

Метод позволяет относить объекты к конкретным категориям и определять вероятность событий. Например, с учетом прошлого покупательского опыта можно оценить, приобретет ли клиент товар.

Математическая основа алгоритма:

p = 1 / (1 + e^(-z))

Здесь:

• p — вероятность события, от 0 до 1;
• e — константа, равная 2,718;
• z — промежуточное значение, рассчитанное на основе характеристик объекта и коэффициентов используемой модели.

Z нужно рассчитывать по формуле:

z = b₀ + b₁x₁ + b₂x₂ + ... + bₙxₙ

Расшифруем:

• b₀ — начальный коэффициент модели;
• b₁, b₂ и другие коэффициенты, влияющие на расчет;
• x₁, x₂ и т.д — числовые значения характеристик объектов.

Пример: компания хочет спрогнозировать, перестанет ли клиент пользоваться услугами. Для этого модель будет учитывать количество оставленных жалоб. Допустим, их шесть. Модель получает формулу z = -2 + 0,5x и вводит нужное число: z = -2 + 0,5 × 6 = 1.

Подставляем результат в формулу логистической регрессии:

p = 1 / (1 + e⁻¹)

Получаем p ≈ 0,731, то есть около 73 %. Это и будет процент вероятности ухода клиента.

В примере выше приведены условные коэффициенты. В реальных задачах алгоритм сам определяет их при обучении на исторических данных.

Логистическая регрессия — быстро обучаемый метод, однако она не всегда справляется со сложными нелинейными зависимостями между характеристиками объектов, чувствительна к мультиколлинеарности признаков и может быть неустойчива при малых выборках или редких событиях.

Алгоритм KNN определяет класс нового объекта на основе характеристик и меток ближайших к нему объектов из обучающей выборки. Он основан на предположении, что объекты со схожими характеристиками с большей вероятностью относятся к одной категории. Для классификации алгоритм находит k ближайших соседей и выбирает класс, который встречается среди них чаще всего.

Процесс классификации состоит из нескольких шагов:

1. Выбор параметра K. Определяют, сколько объектов участвует в классификации.
2. Расчет расстояний. Алгоритм измеряет близость нового объекта к примерам из выборки.
3. Поиск соседей. Выбирают K объектов с наименьшим расстоянием до нового примера.
4. Определение класса. Алгоритм учитывает метки найденных соседей и присваивает объекту нужный класс.

К бывает малым и большим. В первом случае соседей немного, поэтому модель точнее учитывает характеристики. Во втором объектов больше, поэтому малые группы могут теряться на фоне преобладающего класса.

Преимущество KNN в простоте работы. Однако алгоритму нужно хранить обучающие примеры, что при большой выборке может быть затратно для бизнеса.

Дерево решений — алгоритм машинного обучения, который классифицирует объекты с помощью последовательности условий. На каждом шаге модель проверяет определенный признак и в зависимости от результата выбирает дальнейший путь. Это похоже на развилку: каждый ответ приводит к следующему условию, пока модель не достигнет конечного узла, который определяет класс объекта.

Как строится дерево решений:

1. Выбор первого условия. Алгоритм проверяет разные признаки и варианты разделения данных, чтобы найти способ распределить объекты по группам.
2. Оценка качества разделения. Для классификации могут использоваться критерий Джини или энтропия. Они помогают оценить, насколько однородными группы стали после предыдущего шага.
3. Создание новых узлов. В полученной группе алгоритм снова определяет условие и делит данные на подгруппы.
4. Завершение. Процесс продолжается до тех пор, пока не будут соблюдены условия остановки, например, максимальная глубина дерева или минимальное количество объектов в узле.

Преимущество дерева решений — понятная логика работы. Можно отследить весь путь от первоначальных признаков до результата и объяснить, что повлияло на классификацию. Также алгоритм способен работать с нелинейными зависимостями.

Дерево решений требует внимания к обучающей выборке, поскольку может плохо работать на новых данных.

Это машинный алгоритм из множества деревьев решений. Модель получает от всех результаты и объединяет их для точности прогнозирования. В зависимости от реализации разделение объектов происходит путем голосования за класс или усреднения с выбором итогового ответа. Например, если большинство деревьев считает транзакцию подозрительной, лес классифицирует ее как мошенническую.

Чтобы это получалось на практике, каждое дерево при построении случайного леса обучается на случайной выборке объектов, сформированной из исходных данных. Кроме того, при классификации алгоритм учитывает случайное подмножество признаков. Таким образом деревья могут выдавать разные решения.

Преимущества алгоритма:

• Снижение вероятности переобучения — агрегация множества деревьев снижает чувствительность модели к особенностям обучающих примеров по сравнению с одиночным деревом, хотя полностью переобучение не исключает.
• Устойчивость результатов — ансамбль надежнее одиночных деревьев, которые могут выдавать ошибки.
• Работа со сложными зависимостями — Random Forest может учитывать нелинейные связи между признаками объектов и целевым классом.
• Оценка важности признаков — модель позволяет оценить, какие характеристики должны участвовать в принятии решений о классификации.
• Разные задачи — случайный лес применяют для классификации разноплановых объектов, анализа структурированных данных и прогнозирования рисков.

У метода есть и ограничения. По сравнению с одиночным деревом решений случайный лес требует больше вычислительных ресурсов. Кроме того, его прогнозы сложнее интерпретировать: результат зависит от работы множества деревьев, а не одного набора условий. Оценка важности признаков (feature importance) помогает понять, какие характеристики сильнее влияют на результат, но не объясняет, почему модель выдала конкретный прогноз.

Кластеризация — метод, позволяющий объединять схожие объекты в группы без заранее заданных меток классов. Для этой цели применяются два основных алгоритма машинного обучения.

Алгоритм позволяет распределять объекты по кластерам, чтобы внутри каждого кластера они были близки друг к другу по заданной метрике расстояния. Он удобен для работы с числовыми данными, например, при сегментации клиентов по среднему чеку, частоте покупок, сумме расходов.

Алгоритмы последовательно строят кластеры с учетом их центров — центроидов, представляющих собой среднее арифметическое координат всех объектов, входящих в группу. Процесс сегментации состоит из нескольких этапов:

1. Определение количества кластеров. Перед запуском задают параметр K — число кластеров, на которые нужно разделить данные.
2. Выбор центроидов. Алгоритм определяет центры кластеров. Для выбора часто используется метод K-Means++, позволяющий расположить первые центры как можно дальше друг от друга. В стандартном K-Means они определяются случайно.
3. Распределение объектов. Каждый объект сравнивается с центроидами и привязывается к ближайшему.
4. Пересчет центров. Для кластеров вычисляют новые центроиды по средним значениям признаков содержимого группы.
5. Повторение итераций. Распределение объектов и пересчет центров продолжаются до тех пор, пока изменения при каждом цикле не станут минимальными либо не будет достигнут заданный предел итераций.

На результат работы алгоритма влияет количество кластеров K. Если групп слишком много, они получаются мелкими. Если мало — в них попадают непохожие объекты. Для выбора оптимального значения используют метод локтя (Elbow Method), при котором на графике находят точку, когда добавление новых кластеров уже не улучшает работу алгоритма. Также применяется силуэтный анализ (Silhouette Analysis). Он оценивает, насколько четко объекты вписываются в свои кластеры.

K-Means может быстро обрабатывать большие объемы числовых данных. Однако он чувствителен к выбору начальных центров и количеству кластеров, а также к выбросам и шумным данным: аномальные точки могут искажать центроиды и границы кластеров. Кроме того, K-Means не гарантирует достижения глобального оптимума и может сходиться к локальному минимуму.

Иерархическая кластеризация объединяет объекты в группы на основе сходства их характеристик, а затем формирует из этих групп более крупные кластеры. Метод помогает не только находить группы похожих объектов, но и анализировать взаимосвязи между ними. Результаты обычно представляют в виде дендрограммы — схемы, которая показывает, как отдельные объекты объединяются в кластеры и как формируется их иерархия.

Существует два основных подхода к иерархической кластеризации: агломеративный (Agglomerative Clustering) и дивизивный (Divisive Clustering). При агломеративном подходе каждый объект сначала считается отдельным кластером, а затем наиболее близкие группы последовательно объединяются. При дивизивном подходе процесс идет в обратном направлении: все объекты сначала образуют один кластер, который затем разделяется на более мелкие группы.

Чаще используется агломеративный метод, состоящий из нескольких этапов:

1. Инициализация. Каждая точка данных признается самостоятельным кластером.
2. Расчет расстояний. Алгоритм измеряет расстояния (сходство) между кластерами.
3. Первое объединение. Две наиболее близкие друг к другу точки объединяются в общий кластер.
4. Пересчет матрицы расстояний. Алгоритм заново рассчитывает расстояния между обновленными группами.
5. Повторение цикла. На каждом шаге две ближайшие группы сливаются в одну. Так происходит до тех пор, пока все данные не объединятся в один кластер.
6. Финальный срез. Пользователь изучает дендрограмму и определяет оптимальное количество групп.

Для удобства можно заранее задать количество кластеров или порог расстояния, по достижению которого группы перестают объединяться.

Иерархическая кластеризация не требует заранее задавать количество кластеров: его можно определить после построения дендрограммы. В отличие от K-Means, стандартные реализации метода обычно детерминированы: при одинаковых исходных данных и настройках они дают одинаковый результат. Однако классические алгоритмы иерархической кластеризации могут требовать значительных вычислительных ресурсов. Например, сложность по памяти часто достигает O(N²), а временная сложность зависит от реализации и метода объединения кластеров. Поэтому такие алгоритмы не всегда подходят для обработки очень больших наборов данных.

Чаще используется метод главных компонент (Principal Component Analysis). Он помогает сократить количество признаков для анализа данных, сохраняя при этом большую часть информации о вариабельности данных, но не всю информацию полностью. Метод незаменим, если нужно что-то сравнить по десяткам характеристик, поскольку часть из них можно заменить усредненными показателями.

Алгоритм позволяет найти в данных закономерности и объединить связанные признаки в главные компоненты. Каждая компонента отражает различия между объектами. Например, первая описывает наиболее значимые, вторая — важные, но не столь критичные, третья — второстепенные и так далее. Процесс строится примерно так:

1. Подготовка данных. Приведение числовых значений признаков к одному масштабу, чтобы не искажать результат анализа.
2. Установление связей между признаками. Определение, какие характеристики связаны между собой и какие есть различия между объектами.
3. Выбор главных компонент. Создание новых показателей на основе исходных признаков и выбор тех, которые сохраняют больше информации о различиях.
4. Сокращение количества признаков. Вместо большого набора исходных данных для анализа применяют несколько главных компонент.

Principal Component Analysis подходит для выявления линейных закономерностей, помогает систематизировать данные и ускорить анализ. Однако при определении главных компонентов может потеряться часть сведений. Кроме того, иногда бывает сложно однозначно интерпретировать результаты.

Некоторые бизнес-задачи требуют точных прогнозов и работы со сложными зависимостями. Тогда используют метод опорных векторов и нейронные сети.

Это базовый алгоритм машинного обучения, который позволяет распределять объекты по классам на основе характеристик и затем ищет границу между ними. На положение границы влияют ближайшие объекты каждого класса. Они и называются опорными векторами.

Этапы работы:

1. Подготовка данных. Определение признаков, по которым алгоритм будет делить объекты на классы.
2. Поиск границы. Определение разделяющей гиперплоскости, которая максимизирует зазор между классами — расстояние от гиперплоскости до ближайших объектов каждого класса (опорных векторов).
3. Классификация новых объектов. Поиск категории для только что добавленных данных с учетом характеристик.

SVM подходит для работы с информацией, которую можно четко разделить на классы по заданным признакам и особенно эффективен на малых и средних выборках. Однако ядровые SVM плохо масштабируются на очень большие наборы данных: обучение может требовать значительных вычислительных ресурсов и времени, поэтому для больших выборок обычно используют линейные варианты SVM или другие алгоритмы.

Нейронные сети — это модели машинного обучения, состоящие из множества искусственных нейронов, объединенных в слои. Каждый слой обрабатывает входные данные и передает результат следующему. Чем больше слоев в нейросети, тем сложнее закономерности она может выявлять. На этом принципе основано глубокое обучение (Deep Learning) — направление машинного обучения, в котором используют многослойные нейронные сети для решения сложных задач, когда заранее задать все правила анализа невозможно.

Нейросети применяют в ML-моделях для работы с разными типами данных: текстами, изображениями, видео, звуком и числовыми значениями. Во время обучения модель анализирует примеры, сравнивает собственные прогнозы с правильными ответами и корректирует внутренние параметры, чтобы уменьшить количество ошибок.

Основные этапы работы будут такими:

1. Подготовка обучающей выборки. Сбор примеров, на которых нейросети будут учиться выполнять поставленные задачи.
2. Обработка информации. Прохождение данных через слои нейронки. Каждый выделяет закономерности и передает результаты следующему слою.
3. Обучение. Сравнение результатов с точными ответами и корректировка параметров.
4. Проверка качества. Тестирование модели на данных, которых еще не было в обучающей выборке.

Нейросети лежат в основе цифровых помощников, которые берут на себя рутину вместо живых сотрудников. Они могут обрабатывать документы, анализировать заявки, отвечать на вопросы клиентов и многое другое.

Чтобы применять машинное обучение в бизнес-задачах, недостаточно выбрать подходящий алгоритм. Нужно подготовить данные, обучить и проверить модель, развернуть ее в рабочей среде и следить за качеством результатов. Для этих задач Cloud.ru предлагает сервисы и инструменты, которые помогают организовать полный цикл разработки и эксплуатации ML-моделей.

Машинное обучение используется как в повседневных, так и в бизнес-задачах. Раскроем малую часть примеров.

Такие системы помогают подбирать фильмы, товары в интернет-магазинах, музыку и другой контент с учетом интересов пользователей. Для этого они анализируют историю просмотров и покупок, сравнивают предпочтения разных пользователей и находят объекты со схожими характеристиками.

Разные алгоритмы решают эту задачу по-разному. Например, K-Means объединяет пользователей со схожими интересами в группы и рекомендует им подходящий контент. Метод главных компонент (PCA) сокращает количество характеристик, сохраняя наиболее важную информацию о данных. Это помогает упростить их анализ и выявить сходства между пользователями и объектами. Нейронные сети выявляют более сложные закономерности в поведении пользователей и учитывают сразу несколько факторов при подборе рекомендаций.

Для экспериментов с машинным обучением в облаке подойдет сервис Evolution Notebooks от Cloud.ru. Он позволяет разрабатывать и обучать собственные ML-модели в готовом окружении.

Примеры применения машинных алгоритмов в бизнес-задачах:

• Линейная регрессия — прогнозирует числовые показатели, например, расходы на оборудование или продажи на следующий месяц.
• Логистическая регрессия — оценивает вероятность разных событий, например, что клиент уйдет к конкурентам или какая-то операция будет подозрительной.
• Деревья решений — помогают прогнозировать результаты по набору условий, например, оценивают вероятность одобрения кредита.
• K-Means и иерархическая кластеризация — позволяют сгруппировать клиентов по покупательскому поведению.
• Метод опорных векторов — помогает отличать дефектные изделия от качественных по результатам проверки.
• Нейронные сети — применяются для распознавания изображений, анализа текстов, прогнозирования спроса и т.д.

Это малая часть примеров, поскольку алгоритмы полезны для многих задач и сильно упрощают работу компаний. Главное, качественно обучить ИИ-модели и постоянно актуализировать данные.

Если хотите развернуть ИИ-модель в облаке, используйте сервис Evolution ML Inference. Он поддерживает разные типы моделей и сред исполнения.

Алгоритмы машинного обучения помогают решать широкий круг задач: прогнозировать показатели, находить закономерности в данных, распознавать объекты и формировать рекомендации. У каждого метода свои особенности, преимущества и ограничения. Выбор подходящего алгоритма зависит от типа данных, цели анализа и требований к результату. Не менее важны качество обучающей выборки, подготовка данных и настройка модели. Понимание этих факторов помогает эффективнее применять машинное обучение на практике.