Надежность нейронных сетей - это книга, написанная Кэти Уорр, которая исследует надежность и устойчивость искусственного интеллекта (ИИ) к обману. Автор рассматривает мотивацию кибератак, связанных с обманом нейронных сетей, а также риски и методы повышения устойчивости ИИ к таким атакам.
Основные тезисы и выводы, представленные в книге:
Глубокие нейронные сети (DNN) становятся неотъемлемой частью IT-продуктов и приводят к появлению новых видов кибератак.
Хакеры пытаются обмануть нейросети путем предоставления данных, которые могут обмануть систему, но не человека.
Книга рассматривает мотивацию и причины подобных атак, а также риски, связанные с вредоносным вводом данных.
Автор предлагает методы и стратегии для повышения устойчивости ИИ к кибератакам. Это может быть полезно для специалистов по data science, архитекторов систем безопасности и всех, кого интересует разница между искусственным и биологическим восприятием.
Книга представляет практический подход к повышению надежности нейронных сетей и предлагает рекомендации по укреплению систем с использованием ИИ.
Некоторые рекомендации автора:
Разработчики нейронных сетей должны учитывать возможные уязвимости и атаки на систему при проектировании и разработке.
Важно проводить тестирование и анализ устойчивости нейронных сетей к вредоносным входным данным.
Использование методов генерации вредоносных искажений может помочь в идентификации уязвимостей и повышении устойчивости системы.
Важно развивать методы защиты и обнаружения атак на нейронные сети, такие как мониторинг и анализ поведения системы.
Необходимо постоянно обновлять и совершенствовать методы защиты для борьбы с постоянно меняющимися видами кибератак.
#Технологии #Нейросети
Основные тезисы и выводы, представленные в книге:
Глубокие нейронные сети (DNN) становятся неотъемлемой частью IT-продуктов и приводят к появлению новых видов кибератак.
Хакеры пытаются обмануть нейросети путем предоставления данных, которые могут обмануть систему, но не человека.
Книга рассматривает мотивацию и причины подобных атак, а также риски, связанные с вредоносным вводом данных.
Автор предлагает методы и стратегии для повышения устойчивости ИИ к кибератакам. Это может быть полезно для специалистов по data science, архитекторов систем безопасности и всех, кого интересует разница между искусственным и биологическим восприятием.
Книга представляет практический подход к повышению надежности нейронных сетей и предлагает рекомендации по укреплению систем с использованием ИИ.
Некоторые рекомендации автора:
Разработчики нейронных сетей должны учитывать возможные уязвимости и атаки на систему при проектировании и разработке.
Важно проводить тестирование и анализ устойчивости нейронных сетей к вредоносным входным данным.
Использование методов генерации вредоносных искажений может помочь в идентификации уязвимостей и повышении устойчивости системы.
Важно развивать методы защиты и обнаружения атак на нейронные сети, такие как мониторинг и анализ поведения системы.
Необходимо постоянно обновлять и совершенствовать методы защиты для борьбы с постоянно меняющимися видами кибератак.
#Технологии #Нейросети
Library Genesis: Кэти Уорр - Надежность нейронных сетей: укрепляем устойчивость ИИ к обману
Library Genesis is a scientific community targeting collection of books on natural science disciplines and engineering.
libgen.is
️
Атака на LLM с помощью Imprompter: кража личных данных через обфусцированные промпты
Imprompter. 
извлечение личной информации пользователей: контекст пользовательского запроса (может содержать ПД), IP-адрес, почта и другие данные.
инструкции в подсказке (видео):
Mistral Security Team отреагировали и признали уязвимость, присвоив ей среднюю степень серьезности. Они сделали фикс, отключив рендеринг внешних изображений в формате markdown.
