Decodo запускает веб-API для обработки данных для искусственного интеллекта и поисковых команд

Организациям, использующим конвейеры искусственного интеллекта, нужен актуальный веб-контент. Старые снимки быстро устаревают. Компания Decodo, занимающаяся инфраструктурой веб-данных, представила API веб-данных. Новый продукт предлагает командообразующие агенты, конвейеры поиска и обучающие наборы для четырех основных функций, выполняемых одним ключом: очистка, поиск, сопоставление и обход.

Большие языковые модели обучаются на фиксированном моментальном снимке веб-страниц. Этот моментальный снимок перестает обновляться после завершения обучения. Любая система, использующая старые данные, допускает ту же ошибку. Система отслеживания цен, построенная на устаревших данных, выдает вчерашнюю цену за текущую. В новостях не отображается информация, появившаяся час назад. Исследовательский конвейер ссылается на адрес компании, который изменился в прошлом году.

Генерация, дополненная поиском, основывается на ответах модели в документах, которые были получены во время запроса. Если эти документы устарели, проверка также не выполняется. Обеспечение конвейера текущими страницами обычно означает создание инфраструктуры для очистки. Эта работа включает в себя управление прокси-серверами, обработку CAPTCHA и преодоление блокировок.

Decodo создала Web Data API в своей существующей сети прокси-серверов. Он уже поддерживает более 125 миллионов IP-адресов жилых домов, интернет-провайдеров, мобильных устройств и центров обработки данных из более чем 195 мест. Сам API охватывает четыре конечные точки, каждая из которых выполняет отдельный этап сбора данных. Команда может вызвать одну конечную точку для страницы или объединить все четыре.

• Scrape извлекает чистый контент с одной страницы, даже несмотря на защиту от ботов.
• Поиск возвращает результаты поисковой выдачи в реальном времени.
• Map позволяет определить структуру сайта, используя до 147 тысяч URL-адресов за один вызов.
• Поиск по ссылкам на сайте позволяет просматривать до 10 тыс. страниц за задание.

Вайдотас Юкнис, генеральный директор Decodo, отметил: "Команды аналитиков продолжают ежеквартально перестраивать один и тот же конвейер. Они просматривали страницу, искали обновления, но все равно пропускали половину сайта. Сопоставление и обход дают им полную картину за один проход. Это то, о чем нас просили специалисты по обработке данных напрямую".

Суть проста – теперь один ключ позволяет выполнять очистку, поиск, сопоставление и обход, заменяя отдельные логины, информационные панели и счета-фактуры, которые используются при одновременной работе с несколькими поставщиками. Разработчики получают единое место для проверки использования и единый счет для отслеживания, а финансовая команда, анализирующая расходы поставщиков, видит одну позицию вместо нескольких. Когда инженеру требуется отладить неудачный запрос, проверка одной панели мониторинга вместо манипулирования несколькими учетными записями упрощает поиск источника проблемы.

Выполнение очистки, поиска, сопоставления и обхода по отдельным поставщикам также требует отдельных ограничений скорости, форматов ошибок и страниц состояния для отслеживания. При использовании одного поставщика конвейеру требуется один набор логических схем для повторных попыток и обработки ошибок. Когда что-то идет не так, есть одна страница состояния, которую нужно проверить, и одна команда поддержки, с которой можно связаться.

A RAG team building an internal knowledge base can crawl a vendor’s documentation once a week, with each run refreshing the embeddings that ground the assistant’s answers. A developer working on a coding assistant can call search mid-session for a current answer, which beats asking the model to guess from training data. An analytics team tracking a set of competitors can map their catalogs to catch new and removed products, then crawl the product pages on a regular schedule, turning a manual price check into a recurring job that feeds a dashboard.

A data science team can crawl a set of public sites to build a training corpus. Running map first shows the total volume before a single page is pulled, so the crawl stays focused on pages that belong in the dataset. From refreshing embeddings to feeding a pricing dashboard, every one of these workflows runs on the same key, with no separate scraping stack for each use case.

For most developers building data pipelines, unblocking is the hard part. Proxies get banned, CAPTCHAs appear, and anti-bot systems change without warning. Decodo handles all of that behind the scenes, so every request returns real-time, reliable data without the team maintaining any bypass logic themselves.

The Web Data API scales in both directions. A small team can start on the free tier and run a real project without building any scraping infrastructure. A team with large data needs can use the same proxy network and endpoints to run crawls and maps at volume, without switching providers as usage grows.

Testing the Web Data API doesn’t require a credit card. The free tier includes up to 10K requests every month, shared across all four endpoints. That’s more than many APIs include on their free plans. Once a team outgrows the free tier, billing follows the same one-key setup they started with.

>