Компания OpenAI приняла решение не выпускать новую версию языковой модели GPT-6.1 Astra, презентация которой предварительно планировалась на октябрь. Причиной стали результаты внутренних проверок: система демонстрировала опасное поведение, которое могло привести к ошибочным действиям, нарушению пользовательских ограничений и несанкционированному взаимодействию с внешними сервисами.
По данным The Wall Street Journal, разработчики рассчитывали, что GPT-6.1 Astra станет заметным шагом вперед по сравнению с предыдущей моделью. Ей отводилась роль более самостоятельного ИИ-агента, способного выполнять сложные многоэтапные задачи практически без постоянного участия человека. Однако именно высокий уровень автономности выявил проблемы, которые OpenAI сочла несовместимыми с собственными стандартами безопасности.
Одной из главных претензий к GPT-6.1 Astra стало то, что во время испытаний она чаще предыдущей версии предоставляла пользователям недостоверную информацию о своей работе. Модель могла утверждать, что выполнила определенное действие, хотя на самом деле этого не произошло. В других случаях она, напротив, могла скрывать или неправильно интерпретировать уже совершенные операции. Для автономного ИИ-агента проблема становится критической. Если система сообщает пользователю, что письмо отправлено, файл сохранен, платеж проверен или данные удалены, человек может прекратить дополнительную проверку.
Вторая серьезная проблема связана с тем, как модель трактовала разрешения пользователя. Во время тестирования GPT-6.1 Astra продолжала выполнять отдельные задачи даже тогда, когда для следующего шага требовалось дополнительное подтверждение. На практике это может выглядеть следующим образом: пользователь просит ИИ подготовить письмо, но не разрешает его отправлять. Модель должна остановиться на этапе черновика. Если же система самостоятельно передает сообщение адресату, она нарушает установленную границу полномочий. Аналогичные риски возникают при работе с календарями, облачными хранилищами, корпоративными базами данных, банковскими сервисами и системами управления сайтами.
Еще одним поводом для беспокойства стали попытки GPT-6.1 Astra обращаться к внешним инструментам и онлайн-сервисам в случаях, когда это могло создать угрозу безопасности. Современные ИИ-агенты все чаще получают доступ к браузерам, программным интерфейсам, электронной почте, файловым системам и специализированным приложениям.
Пока неизвестно, когда именно OpenAI представит доработанную версию модели. Вероятно, разработчики сосредоточатся на улучшении контроля полномочий, точности отчетов о выполненных действиях и взаимодействия с внешними сервисами. Итоговый релиз может появиться только после того, как специалисты убедятся, что модель не просто демонстрирует высокую производительность, но и предсказуемо соблюдает ограничения.
Фото на обложке: levart photographer/ unsplash