Модели от OpenAI и Google под ударом. Смогут ли гиганты отрасли защитить своих пользователей?
В новом исследовании группа учёных продемонстрировала создание первого в своём роде вредоносного ИИ-червя, способного автоматически распространяться между генеративными ИИ-агентами, что открывает пути для потенциального кражи данных и рассылки спама. Этот прорыв указывает на новый вид кибератак, которые могут быть осуществлены в связанных, автономных экосистемах искусственного интеллекта.
Исследователи из Cornell Tech, включая Бена Насси, Става Коэна и Рона Биттона, разработали червя, названного Morris II в честь оригинального компьютерного червя Morris, который вызвал хаос в интернете в 1988 году. Эксперименты специалистов показали, как такой червь может использоваться для атак на почтовые помощники на базе ИИ с целью кражи данных из электронных писем и рассылки спама, нарушая при этом некоторые меры безопасности в системах ChatGPT и Gemini.
Особое внимание в исследовании уделено «враждебным самовоспроизводящимся запросам», которые заставляют ИИ-модель в своём ответе генерировать новый запрос. Этот метод напоминает традиционные атаки типа SQL Injection и Buffer Overflow, говорят исследователи.
Для демонстрации возможностей червя исследователи создали почтовую систему, которая может отправлять и получать сообщения с использованием генеративного ИИ, подключаясь к ChatGPT, Gemini и открытой LLM под названием LLaVA. Специалисты обнаружили два способа эксплуатации системы: с использованием текстового самовоспроизводящегося запроса и встраивая самовоспроизводящийся запрос в изображение.
Исследование подчёркивает, что генеративные ИИ-черви являются новым риском безопасности, который должен беспокоить стартапы, разработчиков и технологические компании. Хотя генеративные ИИ-черви ещё не обнаружены в «дикой природе», эксперты в области безопасности считают, что риск их появления в будущем достаточно велик.
Исследователи сообщили о своих находках в Google и OpenAI, подчёркивая необходимость разработки более надёжных систем безопасности и предостерегая разработчиков от использования вредоносного ввода. Google отказалось комментировать исследование, в то время как представитель OpenAI отметил работу над усилением устойчивости своих систем к подобным атакам.
Некоторые способы защиты от потенциальных ИИ-червей уже существуют, например, использование традиционных подходов к безопасности и обеспечение участия человека в процессе принятия решений ИИ-агентами. Эксперты подчёркивают важность разработки безопасных приложений и мониторинга для предотвращения подобных угроз.
Источник: securitylab.ru/news/546466.php
Подробнее тут
Исходники
В новом исследовании группа учёных продемонстрировала создание первого в своём роде вредоносного ИИ-червя, способного автоматически распространяться между генеративными ИИ-агентами, что открывает пути для потенциального кражи данных и рассылки спама. Этот прорыв указывает на новый вид кибератак, которые могут быть осуществлены в связанных, автономных экосистемах искусственного интеллекта.
Исследователи из Cornell Tech, включая Бена Насси, Става Коэна и Рона Биттона, разработали червя, названного Morris II в честь оригинального компьютерного червя Morris, который вызвал хаос в интернете в 1988 году. Эксперименты специалистов показали, как такой червь может использоваться для атак на почтовые помощники на базе ИИ с целью кражи данных из электронных писем и рассылки спама, нарушая при этом некоторые меры безопасности в системах ChatGPT и Gemini.
Особое внимание в исследовании уделено «враждебным самовоспроизводящимся запросам», которые заставляют ИИ-модель в своём ответе генерировать новый запрос. Этот метод напоминает традиционные атаки типа SQL Injection и Buffer Overflow, говорят исследователи.
Для демонстрации возможностей червя исследователи создали почтовую систему, которая может отправлять и получать сообщения с использованием генеративного ИИ, подключаясь к ChatGPT, Gemini и открытой LLM под названием LLaVA. Специалисты обнаружили два способа эксплуатации системы: с использованием текстового самовоспроизводящегося запроса и встраивая самовоспроизводящийся запрос в изображение.
Исследование подчёркивает, что генеративные ИИ-черви являются новым риском безопасности, который должен беспокоить стартапы, разработчиков и технологические компании. Хотя генеративные ИИ-черви ещё не обнаружены в «дикой природе», эксперты в области безопасности считают, что риск их появления в будущем достаточно велик.
Исследователи сообщили о своих находках в Google и OpenAI, подчёркивая необходимость разработки более надёжных систем безопасности и предостерегая разработчиков от использования вредоносного ввода. Google отказалось комментировать исследование, в то время как представитель OpenAI отметил работу над усилением устойчивости своих систем к подобным атакам.
Некоторые способы защиты от потенциальных ИИ-червей уже существуют, например, использование традиционных подходов к безопасности и обеспечение участия человека в процессе принятия решений ИИ-агентами. Эксперты подчёркивают важность разработки безопасных приложений и мониторинга для предотвращения подобных угроз.
Источник: securitylab.ru/news/546466.php
Подробнее тут
Исходники
GitHub - StavC/ComPromptMized: ComPromptMized: Unleashing Zero-click Worms that Target GenAI-Powered Applications
ComPromptMized: Unleashing Zero-click Worms that Target GenAI-Powered Applications - StavC/ComPromptMized
github.com
