Клон Jev от OpenAI может помочь лаборатории frontier lab остановить кишащих в ней агентов

Одно из самых интригующих заявлений на мероприятии OpenAI Dev Day во вторник было сделано генеральным директором Сэмом Альтманом, который представил новый "API решений" компании.

API, по-видимому, предоставляет функциональность, аналогичную Jev, модели, выпущенной компанией TypeSafe AI ранее в этом месяце, которая явно предназначена для автоматизации программного обеспечения. Это своего рода мощный классификатор, построенный на базе LLM, и разработчики могут предоставить Jev набор вариантов, которые он выводит в виде вероятностей дешево и с высокой скоростью.

API решений OpenAI, похоже, относится к тому же типу продуктов. На мероприятии Альтман описал API как способ предоставить лабораторной модели Luna предопределенный набор опций для выбора, таких как категории, по которым можно классифицировать изображение, или различные варианты поведения агентов.

"Ориентируя модель на этот выбор, мы можем сделать ее чрезвычайно быстрой, сохранив при этом такие возможности, как понимание изображений, широкая языковая поддержка и меры безопасности", - сказал Альтман.

Компания TypeSafe не ответила на вопросы TechCrunch о новом продукте, но генеральный директор Диого Алмейда, бывший инженер OpenAI, который был одним из создателей обучения с подкреплением, пошутил на X о начале войн клонов.

Он добавил, что интерес OpenAI может быть "признаком... того, что будущее за созданием совместимого с System One способа". ("System One" - это термин, используемый TypeSafe для обозначения быстрого интуитивного мышления, в отличие от "System 2", который применяется для обдуманного рассуждения).

Подтекст здесь заключается в том, что LLM в том виде, в каком мы их знаем, не являются подходящим решением для многих программ, поскольку они сравнительно медленные и дорогие. Разработчики используют Jev для расширения LLM и при этом обнаружили, что они работают быстрее и дешевле.

Неясно, насколько API решений будет похож на Jev, поскольку OpenAI выпустила его в виде ограниченного предварительного просмотра, и до сих пор TechCrunch не видел, чтобы разработчики запускали его в полном объеме. Однако, судя по разговорам на X, интерес к нему явно есть.

Decisions API - не единственный Jev—подобный API в Интернете - другие стартапы внедряют аналогичные модели; OpenAI будет не последним технологическим гигантом, создавшим такой. Ключевой вопрос заключается в том, насколько хорошо результаты каждой из этих моделей принятия решений будут соответствовать реальной жизни.

Алмейда говорит, что главным преимуществом его компании являются синтетические данные, которые она создает для получения статистически полезных результатов.

"Fast and cheap is very easy, you know," Almeida told TechCrunch last week. "If you want it really fast and cheap, use dice, right? Intelligence is the hard part, and my North Star is always pushing the intelligence-per-dollar Pareto curve."

After just weeks, it seems clear that these models have a future ahead of them, and one likely application is monitoring and securing AI agents. One of OpenAI’s new security measures following a series of incidents where its agents misbehaved on the open internet is using a separate model to watch for bad actions at "significant compute cost."

Shapor Naghibzadeh, a long-time cybersecurity professional who leads the startup QueryStory, thinks that a model like Jev could make that possible far more cheaply.

He built a demo for a hackathon held last weekend that uses Jev to check each agentic action against the task it was given, blocking actions it had high confidence were bad, flagging others for review, and permitting the rest.

In theory, such monitoring could have stopped the Hugging Face incident — and monitoring of that kind costs $2.94 with Jev, versus $372 with a frontier LLM.

A key observation is that Jev is arguably cheap enough to run on every agentic action, which offers a layer of review that could improve the reliability of agents writ large. It’s the kind of thing TypeSafe was hoping to achieve — and now OpenAI has seen the value as well.