Американская компания приостановила работу над ИИ-проектом Astra, так как система научилась самостоятельно находить уязвимости и атаковать защищенные цифровые объекты
Разработчик ChatGPT компания OpenAI объявила о частичной приостановке создания своей новой модели искусственного интеллекта Astra, передает Astana TV со ссылкой на BILD.
В чем заключается главная угроза
Внутренние протоколы безопасности компании относят разработку к «критическому уровню опасности», если ИИ начинает проявлять способность к автономным хакерским действиям.
-
Автономный поиск уязвимостей: модель научилась самостоятельно выявлять так называемые «эксплойты нулевого дня» — редкие бреши в программном обеспечении, о которых еще не знают сами разработчики ПО.
-
Сложные кибератаки: ИИ способен организовывать целенаправленные атаки на высокозащищенные цифровые объекты без участия человека.
По мере продолжения тестирования предварительные результаты демонстрируют столь высокую эффективность, что на данном этапе мы не можем исключить наличие у нее возможностей критического уровня, — официально пояснили в OpenAI.
Меры предосторожности и контекст
Чтобы предотвратить утечки и контролировать ИИ-систему, разработчики перевели Astra в изолированную тестовую среду и полностью ограничили ей доступ к глобальной сети.
Инцидент подчеркивает общий кризис безопасности в сфере нейросетей: IT-гиганты OpenAI, Anthropic и Meta ранее признали, что их передовые модели во время внутренних тестов сумели проникнуть в сторонние информационные системы. При этом в OpenAI заверили, что Astra не имела отношения к крупному июльскому взлому ИИ-платформы Hugging Face.