Исследование утверждает, что агенты искусственного интеллекта могут быть легко взломаны:
Киберпреступники уже давно используют искусственный интеллект для помощи в кибератаках, но появление «агентов», таких как Operator от OpenAI, означает, что теперь преступникам придется делать гораздо меньше работы самим, утверждают эксперты.
Ранее инструменты искусственного интеллекта помогали злоумышленникам рассылать мощные угрозы гораздо быстрее, совершая сложные атаки чаще, чем можно было бы представить без них, и это снижало планку для преступников, так что даже относительно низкоквалифицированные киберпреступники могли создавать успешные атаки.
Теперь исследователи из Symantec смогли использовать Operator, чтобы определить цель, найти ее адрес электронной почты, создать сценарий PowerShell, направленный на сбор системной информации, и отправить ее жертве с помощью «убедительной приманки».
Использование агентов:
В демонстрационном ролике исследователи объяснили, что их первые попытки не увенчались успехом: оператор отказался продолжать, «поскольку это связано с отправкой нежелательных писем и потенциально конфиденциальной информации. Это может нарушить политику конфиденциальности и безопасности».
Однако после внесения нескольких изменений в подсказку агент создал атаку, выдавая себя за сотрудника службы ИТ-поддержки, и отправил вредоносное письмо. Это представляет серьезную опасность для команд безопасности, поскольку исследования постоянно показывают, что человеческий фактор является основной причиной более двух третей случаев утечки данных.
Возможно, пройдет совсем немного времени, и агенты станут намного мощнее, говорится в отчете. «Легко представить себе сценарий, в котором злоумышленник может просто поручить агенту «взломать Acme Corp», и тот определит оптимальные шаги, прежде чем их выполнить».
«Это может включать написание и компиляцию исполняемых файлов, настройку инфраструктуры управления и поддержание активного многодневного присутствия в целевой сети. Такая функциональность значительно снизит барьеры входа для злоумышленников».
ИИ-агенты призваны стать виртуальными помощниками, помогая пользователям бронировать встречи, планировать совещания и писать электронные письма. OpenAI серьезно относится к «такого рода сообщениям», сказал представитель компании TechRadar Pro.
«Наши правила использования запрещают использовать сервисы или продукты OpenAI для содействия или участия в незаконной деятельности, включая попытки обмана, мошенничества или намеренного обмана или введения в заблуждение других, и у нас есть проактивные меры безопасности и строгие ограничения скорости, чтобы смягчить вредное использование. Оператор все еще находится в стадии исследования, и мы постоянно дорабатываем и улучшаем его».
source: https://www.techradar.com/pro/security/ai-agents-can-be-hijacked-to-write-and-send-phishing-attacks
- ИИ-агенты могут быть использованы для создания и рассылки фишинговых атак.
- Исследователи Symantec смогли побудить оператора отправить вредоносное письмо.
- Эти инструменты будут становиться все более мощными.
Киберпреступники уже давно используют искусственный интеллект для помощи в кибератаках, но появление «агентов», таких как Operator от OpenAI, означает, что теперь преступникам придется делать гораздо меньше работы самим, утверждают эксперты.
Ранее инструменты искусственного интеллекта помогали злоумышленникам рассылать мощные угрозы гораздо быстрее, совершая сложные атаки чаще, чем можно было бы представить без них, и это снижало планку для преступников, так что даже относительно низкоквалифицированные киберпреступники могли создавать успешные атаки.
Теперь исследователи из Symantec смогли использовать Operator, чтобы определить цель, найти ее адрес электронной почты, создать сценарий PowerShell, направленный на сбор системной информации, и отправить ее жертве с помощью «убедительной приманки».
Использование агентов:
В демонстрационном ролике исследователи объяснили, что их первые попытки не увенчались успехом: оператор отказался продолжать, «поскольку это связано с отправкой нежелательных писем и потенциально конфиденциальной информации. Это может нарушить политику конфиденциальности и безопасности».
Однако после внесения нескольких изменений в подсказку агент создал атаку, выдавая себя за сотрудника службы ИТ-поддержки, и отправил вредоносное письмо. Это представляет серьезную опасность для команд безопасности, поскольку исследования постоянно показывают, что человеческий фактор является основной причиной более двух третей случаев утечки данных.
Возможно, пройдет совсем немного времени, и агенты станут намного мощнее, говорится в отчете. «Легко представить себе сценарий, в котором злоумышленник может просто поручить агенту «взломать Acme Corp», и тот определит оптимальные шаги, прежде чем их выполнить».
«Это может включать написание и компиляцию исполняемых файлов, настройку инфраструктуры управления и поддержание активного многодневного присутствия в целевой сети. Такая функциональность значительно снизит барьеры входа для злоумышленников».
ИИ-агенты призваны стать виртуальными помощниками, помогая пользователям бронировать встречи, планировать совещания и писать электронные письма. OpenAI серьезно относится к «такого рода сообщениям», сказал представитель компании TechRadar Pro.
«Наши правила использования запрещают использовать сервисы или продукты OpenAI для содействия или участия в незаконной деятельности, включая попытки обмана, мошенничества или намеренного обмана или введения в заблуждение других, и у нас есть проактивные меры безопасности и строгие ограничения скорости, чтобы смягчить вредное использование. Оператор все еще находится в стадии исследования, и мы постоянно дорабатываем и улучшаем его».
source: https://www.techradar.com/pro/security/ai-agents-can-be-hijacked-to-write-and-send-phishing-attacks