В последнее время Канцелярия директора Национальной разведки (ODNI) представила новую стратегию сбора открытых данных (OSINT) и назвала OSINT "первоочередной разведкой". Организации государственного и частного секторов осознают ценность этой дисциплины, но также сталкиваются с тем, что экспоненциальный рост цифровых данных в последние годы сделал неэффективными многие традиционные методы OSINT. К счастью, искусственный интеллект (ИИ) и машинное обучение (МО) начинают оказывать революционное влияние на будущее сбора и анализа информации.
Что такое разведка по открытым источникам (OSINT)?
Разведка по открытым источникам (OSINT) подразумевает сбор и анализ информации из общедоступных источников. Этими источниками могут быть традиционные СМИ, платформы социальных сетей, научные публикации, правительственные отчеты и любые другие открытые данные. Ключевая характеристика OSINT заключается в том, что она не использует скрытые или секретные методы сбора информации, такие как агентурная разведка или социальная инженерия. Если во время работы на правительство США я мог получить данные, к которым у меня больше нет доступа как у гражданского лица, то это не OSINT.
Исторически OSINT была трудоемким процессом, включающим несколько ключевых этапов:
1. Определение источников: Аналитики определяют, какие общедоступные источники могут содержать релевантную информацию.2. Сбор данных: Информация собирается из этих источников, часто с помощью ручного поиска или инструментов веб-scraping'а.3. Обработка данных: Собранная информация организуется и структурируется для анализа.4. Анализ: Квалифицированные аналитики изучают данные, чтобы выявить закономерности, тенденции и скрытые смыслы.5. Отчетность: Результаты исследований объединяются в отчеты для лиц, принимающих решения, позволяя им принимать более взвешенные решения.
Хотя этот подход эффективен, он сталкивается с ограничениями из-за огромного объема доступной информации. Аналитикам-людям сложно обрабатывать все вручную, а ценные идеи могут скрываться в сложных шаблонах, которые трудно обнаружить человеку. Именно здесь ИИ/МО может оказать огромную помощь в том, как информация собирается, обрабатывается и анализируется, освобождая аналитика-человека для того, на что он действительно способен – предоставление контекста. Побочным преимуществом этой смены является повышение морального духа, поскольку люди меньше времени тратят на рутинные задачи обработки и больше времени на анализ и обзор информации.
К задачам, в которых ИИ/МО может обеспечить мгновенную пользу, относятся:
На конференции SANS Network Security курсы SEC497 Practical OSINT и SEC587 Advanced OSINT предоставят студентам практический опыт использования возможностей ИИ, что не только повысит производительность, но и откроет новые возможности.
Хотя ни одна технология не является совершенной, и мы должны учитывать потенциальные последствия галлюцинаций перед внедрением ИИ, ключевые технологии, используемые в OSINT в настоящее время, включают:
Обработка естественного языка (NLP): NLP позволяет машинам понимать, интерпретировать и генерировать человеческий язык. В OSINT NLP важно для:
источник : https://thehackernews.com/2024/07/the-emerging-role-of-ai-in-open-source.html
Что такое разведка по открытым источникам (OSINT)?
Разведка по открытым источникам (OSINT) подразумевает сбор и анализ информации из общедоступных источников. Этими источниками могут быть традиционные СМИ, платформы социальных сетей, научные публикации, правительственные отчеты и любые другие открытые данные. Ключевая характеристика OSINT заключается в том, что она не использует скрытые или секретные методы сбора информации, такие как агентурная разведка или социальная инженерия. Если во время работы на правительство США я мог получить данные, к которым у меня больше нет доступа как у гражданского лица, то это не OSINT.
Исторически OSINT была трудоемким процессом, включающим несколько ключевых этапов:
1. Определение источников: Аналитики определяют, какие общедоступные источники могут содержать релевантную информацию.2. Сбор данных: Информация собирается из этих источников, часто с помощью ручного поиска или инструментов веб-scraping'а.3. Обработка данных: Собранная информация организуется и структурируется для анализа.4. Анализ: Квалифицированные аналитики изучают данные, чтобы выявить закономерности, тенденции и скрытые смыслы.5. Отчетность: Результаты исследований объединяются в отчеты для лиц, принимающих решения, позволяя им принимать более взвешенные решения.
Хотя этот подход эффективен, он сталкивается с ограничениями из-за огромного объема доступной информации. Аналитикам-людям сложно обрабатывать все вручную, а ценные идеи могут скрываться в сложных шаблонах, которые трудно обнаружить человеку. Именно здесь ИИ/МО может оказать огромную помощь в том, как информация собирается, обрабатывается и анализируется, освобождая аналитика-человека для того, на что он действительно способен – предоставление контекста. Побочным преимуществом этой смены является повышение морального духа, поскольку люди меньше времени тратят на рутинные задачи обработки и больше времени на анализ и обзор информации.
К задачам, в которых ИИ/МО может обеспечить мгновенную пользу, относятся:
- Обработка огромных объемов данных: Системы искусственного интеллекта могут обрабатывать и анализировать огромные объемы данных со скоростью, намного превышающей человеческие возможности. Это позволяет специалистам по OSINT охватить гораздо более широкую сеть, чем раньше, и по-прежнему справляться с результатами.
- Анализ в реальном времени: Объем информационного потока в современном цифровом мире поражает. Инструменты OSINT на базе искусственного интеллекта могут отслеживать и анализировать потоки данных в режиме реального времени, предоставляя актуальную информацию и позволяя быстро реагировать на возникающие ситуации.
- Многоязычный и мультимедийный анализ: ИИ может преодолевать языковые барьеры, переводя и анализируя контент на нескольких языках одновременно. Кроме того, он может обрабатывать различные типы данных – текст, изображения, аудио и видео – комплексным образом, обеспечивая более полную картину разведки. Многие из этих возможностей, такие как Whisper от OpenAI, могут использоваться в автономном режиме, устраняя любые опасения по поводу операционной безопасности (OPSEC).
- Прогнозная аналитика: Анализируя исторические данные и текущие тенденции, ИИ может помочь прогнозировать будущие события или модели поведения, добавляя в OSINT проактивное измерение.
- Автоматизация рутинных задач: ИИ может помочь автоматизировать многие трудоемкие аспекты OSINT, такие как сбор данных и первичную фильтрацию, освобождая аналитиков-людей для анализа более высокого уровня и принятия решений. Такие вещи, которые раньше было очень сложно реализовать, если не невозможно, например, точный анализ настроений, теперь стали тривиальными.
На конференции SANS Network Security курсы SEC497 Practical OSINT и SEC587 Advanced OSINT предоставят студентам практический опыт использования возможностей ИИ, что не только повысит производительность, но и откроет новые возможности.
Хотя ни одна технология не является совершенной, и мы должны учитывать потенциальные последствия галлюцинаций перед внедрением ИИ, ключевые технологии, используемые в OSINT в настоящее время, включают:
Обработка естественного языка (NLP): NLP позволяет машинам понимать, интерпретировать и генерировать человеческий язык. В OSINT NLP важно для:
- Анализа настроений в постах социальных сетей
- Распознавания сущностей для идентификации людей, организаций и мест в тексте
- Моделирования тем для категоризации больших объемов текстовых данных
- Машинного перевода для многоязычного сбора разведывательных данных
- Распознавания лиц на изображениях и в видео
- Сравнения лиц для определения, является ли один и тот же человек на нескольких изображениях
- Обнаружения объектов на изображениях
- Оптического распознавания символов (OCR) для извлечения текста из изображений
- Понимания сцены в видеоматериалах
- Прогностической аналитики для прогнозирования тенденций или событий
- Обнаружения аномалий для выявления необычных паттернов или поведений
- Кластеризации и классификации данных для облегчения анализа
- Анализа сетей для понимания взаимоотношений между сущностями
источник : https://thehackernews.com/2024/07/the-emerging-role-of-ai-in-open-source.html