Люди используют популярный инструмент генерации видео с ИИ, Runway, чтобы превращать реальные видео убийств в ролики, выглядящие как сцены из анимационных фильмов о Миньонах, и загружают их на платформы социальных сетей. Такие видео набирают тысячи просмотров до того, как платформы успевают обнаружить и удалить их. Этот метод редактирования с использованием ИИ усложняет модерацию контента, ранее доступного только в самых темных уголках интернета.
Эта практика, которую называют «Миньон-насилие» или «Миньон-видео с ИИ», стала популярной в середине декабря. Хотя 404 Media видела, как соцсети удаляли многие такие видео, на момент написания статьи на YouTube, TikTok, Instagram и X оставались крайне жестокие ролики, которые платформы не смогли обнаружить, пока мы не связались с ними за комментариями.
Кадр из видеозаписи нападения на мечеть в Крайстчерче, отредактированной с помощью ИИ, чтобы она выглядела как сцена из фильма о Миньонах.
Сравнив «Миньон-насилие» с оригинальными видео, я установил, что TikTok размещал видео Ронни Макнатта, который в 2020 году вел прямую трансляцию своего самоубийства на Facebook. Также на Instagram размещён фрагмент с перестрелкой в мечети Крайстчерч 2019 года в Новой Зеландии, где мужчина вел прямую трансляцию убийства 51 человека. Кроме того, я видел другие ролики, которые, как кажется, включают сцены публичных казней, кадры боевых действий в Украине и несчастные случаи на строительных площадках.
Большинство таких видео, включая вышеупомянутые, имеют водяной знак Runway в правом нижнем углу, что указывает на использование инструмента компании Gen-3 «видео-видео». Этот инструмент позволяет загружать видео и модифицировать их с помощью генеративного ИИ. В бесплатной версии Runway я смог превратить загруженный видеоклип в стиль фильма о Миньонах, введя текстовый запрос: «Сделать видео похожим на анимационный фильм о Миньонах».
Runway не ответила на запрос о комментарии.
Я видел, как TikTok удалял такие видео до моего запроса комментариев. Например, все жестокие видео на TikTok, упомянутые в статье Know Your Meme, уже были удалены. Однако ранее одно из таких видео собрало более 250,000 просмотров за 10 дней. Другая версия этого видео была повторно загружена в середине декабря и удалена только после моего запроса во вторник.
TikTok заявил, что удаляет контент, нарушающий правила сообщества, независимо от того, был ли он изменён с помощью ИИ. Платформа также отметила, что принимает меры по удалению вредоносного контента, сгенерированного ИИ, и постоянно обновляет правила обнаружения такого контента по мере развития технологий. Когда TikTok узнаёт о распространении синтетического видео, нарушающего политику, он создаёт правила обнаружения для автоматической обработки подобных версий.
Крупные интернет-платформы создают уникальные «хэши» — строку символов, которая действует как цифровой отпечаток для известных видео, нарушающих политику. Это позволяет автоматически удалять такие видео или предотвращать их загрузку. Однако TikTok не уточнил, могут ли видео «Миньон-насилие» обходить автоматическую модерацию. В 2020 году мы с коллегой выяснили, что этот метод можно обойти простыми изменениями видео.
«В большинстве случаев современные методы хэширования не могут надёжно обнаруживать такие варианты», — написал мне в электронном письме Хани Фарид, профессор Калифорнийского университета в Беркли и один из ведущих экспертов по цифровым изображениям. Он отметил, что платформы могли бы создавать вариации контента, добавлять их подписи в базы данных и таким образом улучшать модерацию. Однако это превратилось бы в «игру в крота», где создатели заменяют Миньонов другими персонажами.
Это уже происходит. Например, на Twitter были размещены видео казней ИГИЛ и самоубийства Макнатта, где людей в видео заменили на Санта-Клаусов. Существуют и несколько версий одного и того же контента, что делает автоматическое удаление менее эффективным. Поскольку Runway, похоже, не предотвращает использование своих инструментов для редактирования подобных видео, это создаёт ситуацию, в которой люди могут бесконечно создавать слегка изменённые версии и распространять их в интернете.
Источник: https://www.404media.co/minion-gore-videos-use-ai-to-post-murder-to-instagram-tiktok-and-youtube/
Эта практика, которую называют «Миньон-насилие» или «Миньон-видео с ИИ», стала популярной в середине декабря. Хотя 404 Media видела, как соцсети удаляли многие такие видео, на момент написания статьи на YouTube, TikTok, Instagram и X оставались крайне жестокие ролики, которые платформы не смогли обнаружить, пока мы не связались с ними за комментариями.
Кадр из видеозаписи нападения на мечеть в Крайстчерче, отредактированной с помощью ИИ, чтобы она выглядела как сцена из фильма о Миньонах.
Сравнив «Миньон-насилие» с оригинальными видео, я установил, что TikTok размещал видео Ронни Макнатта, который в 2020 году вел прямую трансляцию своего самоубийства на Facebook. Также на Instagram размещён фрагмент с перестрелкой в мечети Крайстчерч 2019 года в Новой Зеландии, где мужчина вел прямую трансляцию убийства 51 человека. Кроме того, я видел другие ролики, которые, как кажется, включают сцены публичных казней, кадры боевых действий в Украине и несчастные случаи на строительных площадках.
Большинство таких видео, включая вышеупомянутые, имеют водяной знак Runway в правом нижнем углу, что указывает на использование инструмента компании Gen-3 «видео-видео». Этот инструмент позволяет загружать видео и модифицировать их с помощью генеративного ИИ. В бесплатной версии Runway я смог превратить загруженный видеоклип в стиль фильма о Миньонах, введя текстовый запрос: «Сделать видео похожим на анимационный фильм о Миньонах».
Runway не ответила на запрос о комментарии.
Я видел, как TikTok удалял такие видео до моего запроса комментариев. Например, все жестокие видео на TikTok, упомянутые в статье Know Your Meme, уже были удалены. Однако ранее одно из таких видео собрало более 250,000 просмотров за 10 дней. Другая версия этого видео была повторно загружена в середине декабря и удалена только после моего запроса во вторник.
TikTok заявил, что удаляет контент, нарушающий правила сообщества, независимо от того, был ли он изменён с помощью ИИ. Платформа также отметила, что принимает меры по удалению вредоносного контента, сгенерированного ИИ, и постоянно обновляет правила обнаружения такого контента по мере развития технологий. Когда TikTok узнаёт о распространении синтетического видео, нарушающего политику, он создаёт правила обнаружения для автоматической обработки подобных версий.
Крупные интернет-платформы создают уникальные «хэши» — строку символов, которая действует как цифровой отпечаток для известных видео, нарушающих политику. Это позволяет автоматически удалять такие видео или предотвращать их загрузку. Однако TikTok не уточнил, могут ли видео «Миньон-насилие» обходить автоматическую модерацию. В 2020 году мы с коллегой выяснили, что этот метод можно обойти простыми изменениями видео.
«В большинстве случаев современные методы хэширования не могут надёжно обнаруживать такие варианты», — написал мне в электронном письме Хани Фарид, профессор Калифорнийского университета в Беркли и один из ведущих экспертов по цифровым изображениям. Он отметил, что платформы могли бы создавать вариации контента, добавлять их подписи в базы данных и таким образом улучшать модерацию. Однако это превратилось бы в «игру в крота», где создатели заменяют Миньонов другими персонажами.
Это уже происходит. Например, на Twitter были размещены видео казней ИГИЛ и самоубийства Макнатта, где людей в видео заменили на Санта-Клаусов. Существуют и несколько версий одного и того же контента, что делает автоматическое удаление менее эффективным. Поскольку Runway, похоже, не предотвращает использование своих инструментов для редактирования подобных видео, это создаёт ситуацию, в которой люди могут бесконечно создавать слегка изменённые версии и распространять их в интернете.
Источник: https://www.404media.co/minion-gore-videos-use-ai-to-post-murder-to-instagram-tiktok-and-youtube/