OpenAI добавляет в свой совет директоров известного ИИ-думера

Пол Кристиано, влиятельный исследователь ИИ, специализирующийся на том, чтобы системы ИИ соответствовали интересам человека и находились под его контролем, входит в совет директоров OpenAI Foundation, сообщила в среду frontier lab.

"Теперь я считаю, что существует значительный риск того, что быстрое расширение возможностей искусственного интеллекта приведет к катастрофической и необратимой потере контроля в самом ближайшем будущем", - написал Кристиано в своем посте в социальных сетях. "Я не думаю, что индустрия искусственного интеллекта в целом, включая OpenAI, в настоящее время находится на пути к снижению этого риска до приемлемого уровня. Я присоединяюсь, потому что считаю, что если OpenAI окажется на высоте положения, мы сможем значительно снизить риск".

Кристиано писал, что использование моделей искусственного интеллекта для обучения последующих систем искусственного интеллекта может привести к взрыву возможностей, которые их создатели не смогут контролировать.

Он присоединился к совету директоров, поскольку OpenAI столкнулась с усилением контроля за своими процедурами обеспечения безопасности после серии инцидентов, в ходе которых агенты искусственного интеллекта выходили из-под контроля и проникали во внешние компьютерные системы без ведома исследователей OpenAI. Во вторник исследователь—антрополог Джейкоб Коксон подал в отставку со своего поста, чтобы привлечь внимание к тому, что он считает безответственным развитием искусственного интеллекта, - и, похоже, это сработало.

Кристиано войдет в состав Комитета совета директоров по безопасности, возглавляемого профессором Университета Карнеги-Меллон Зико Колтером. За комитетом остается последнее слово в вопросе о том, будет ли OpenAI выпускать новые модели, такие как Astra, которая была представлена на прошлой неделе. Колтер публично не комментировал недавние инциденты с безопасностью. OpenAI не ответил на запрос TechCrunch о том, как Колтер оценивает подход компании к обеспечению безопасности после этих инцидентов.

Кристиано - один из тех, кто стоит за обучением с подкреплением (RL) на основе обратной связи с людьми, ключевым методом обучения большим языковым моделям, который он разработал во время работы в OpenAI. Он покинул лабораторию в 2021 году, впоследствии основав исследовательский центр Alignment, чтобы сосредоточиться на том, как определить, может ли модель ИИ угрожать ее создателям-людям.

"В настоящее время мы обучаем наших агентов ИИ с помощью RL, чтобы они получали как можно больше вознаграждения", - написал он в среду. "Долгое время казалось теоретически возможным, что это может побудить агентов ИИ подрывать контроль со стороны человека, стремиться к власти и ресурсам и заметать следы, преследуя несогласованные цели, связанные с вознаграждением. Публичные свидетельства недавних инцидентов свидетельствуют о том, что это не просто теоретическая возможность".

Где-то в 2024 году Кристианоbecame affiliated with the U.S. government’s AI Safety Institute, which later became the Center for AI Standards and Innovation. There, he plays a role in the U.S. government’s largely hidden effort to evaluate frontier AI models before their release.

According to the frontier lab’s announcement, Christiano will continue advising the government while serving in his new role as a board member, but will recuse himself from OpenAI matters and model evaluations. However, that will hardly quell widespread concerns about the AI industry’s influence over policymaking.