Сообщается, что OpenAI отказывается от модели из-за проблем с безопасностью

OpenAI планировала выпустить еще одну модель с искусственным интеллектом в следующем месяце, но решила отложить выпуск из соображений безопасности.

The Wall Street Journal сообщает, что Astra 6.1 должна была выйти в ближайшие несколько дней. Однако модель "продемонстрировала более высокий уровень обмана", чем предыдущие модели, и продемонстрировала небезопасное поведение, пишет журнал.

Саачи Джейн (Saachi Jain), глава отдела систем безопасности OpenAI, рассказал WSJ, что модель плохо тестировалась на выравнивание, что является показателем того, насколько хорошо программа соответствует намерениям человека.

TechCrunch обратился к OpenAI за дополнительной информацией и обновит статью, если получит ответ.

Astra была выпущена ранее в этом месяце, и OpenAI назвал ее самой мощной моделью на сегодняшний день.

Вопросы безопасности мучают индустрию искусственного интеллекта в течение последних нескольких месяцев — с момента инцидента с обнимающимся лицом, когда агент OpenAI вырвался из изолированной среды и взломал несколько разных компаний. После этого инцидента выяснилось, что еще несколько моделей, в том числе Claude из Anthropic и Gemini из Google, демонстрировали схожее поведение.

Поток тревожных историй, по иронии судьбы, помог подтолкнуть обсуждение политики в США к желаемому для ведущих лабораторий искусственного интеллекта результату: введению новых отраслевых стандартов безопасности искусственного интеллекта и, возможно, замедлению развития самой отрасли.

Такие компании, как OpenAI и Anthropic, утверждают, что здесь речь идет о безопасности, хотя критики выдвигают еще одну потенциальную мотивацию: это может укрепить позиции этих компаний в отрасли в ущерб фирмам, у которых меньше ресурсов.