• XSS.stack #1 – первый литературный журнал от юзеров форума

сканер ИИ в Пентесте: Автоматизированный Веб-Сканер с Интеграцией ИИ

а не просто пихать в конфиг самые популярные кеи под каждый. У каждого таргета свой сетап, свои особенности.
да, не спорю, поэтому софт гибко настраивается, в коде я привел простые и быстрые конфиги для скана.
Ну хз, вот первое, что в голову пришло, раз ты используешь nmap - используй хотя бы NSE
Вот тут скриптов небольшая "сборочка", на все случаи жизни :D Что я имею ввиду... Возьмем первые попавшиеся, которые (образно) подходят нам:

только делать так НЕ НАДО, это непродуктивно, это ваще от балды и на ходу )
все равно хорошая идея, можно будет опционально предоставлять такие параметры
+ Ранее писал убери nikto, это говно, подкинь Nuclei . Там вообще будет море инфы, если начать советовать. Ну и по факту, ты изобретаешь даже не велосипед, а колесо (опять повторяюсь, старею :D )
я и забыл про это, на след обновление заменю. Про колесо, конечно, про многие вещи можно писать, тем более я свое мнение по поводу
этого выше отписал
В любом случае - хорошее начинание. Главное, не про...теряй мотивацию. На данный момент мотивация - денежка с конкурса. А потом?
спасибо, все равно. Поэтому я тебя и тегнул, мне подобная критика и интересует. Конечно, денежка и тоже мотивация, но я еще и показываю, на что в теории способен, это простой и незамысловатый, пусть и комплексный в теории пет проект. Большинство забросят свои проекты, что будет показывать, почему они сюда пришли. После конкурса, я время от времени буду выпускать обновления и апать тред. Моя мотивация будет это отдача от коммьюнити, увидев комментарии от людей, пулл реквесты на гитхабе (залью в скором времени) я буду понимать, что проект все еще интересен людям, а особенно, когда этот первый пулл реквест будет от тебя.
 
Уже работаю над последующим обновлением, включу критику выше и залью на гитхаб. Надеюсь, что увижу отдачу в виде пулл реквестов или хотяб идей для след обновления :)
 
Пока я немного поработал над следующим обновлением, но несколько недочетов имеются, которые отмечены в списке задач в файле README. Я опубликовал это заранее в надежде, что каждый примет во внимание, сделает pull request или просто напишет об этом в issue. Обновления также будут выкладываться туда и сюда. Даже отпечатку любую приму, хороший шанс внести свой вклад и набить активность на гитхабе

 
Итак. Сегодняшнее обновление, v1.3, приносит несколько значимых изменений:
  • Избавился от использования Nikto и интегрировал вместо него инструмент nuclei (пока без возможности вывода в файл, но этот вопрос будет исправлен в следующем обновлении).
  • Добавлена интеграция с vuln/vulscan.nce (прежде чем использовать, убедитесь, что он установлен), так как этот инструмент довольно специфичен, теперь есть опция выбора сканирования с использованием скрипта или без него (см. скриншот ниже).
  • Улучшена обработка ошибок для более плавного и надежного опыта.
  • Внедрен прогресс-бар, чтобы пользователи могли оценить примерное время завершения сканирования.

1710169856046.png

-Значительно улучшен репорт, добавлены анимации, прозрачные боксы и анимированный бэкграунд (звёздное ночное небо) (скрины ниже)

1710170405783.png



Ниже фидбек от ИИ:

1710173021667.png

Новая версия выложена здесь: https://github.com/ElonMusk2002/Automated-Web-Scanner-with-AI-Integration


Однако, для вашего удобства, я также разместил код прямо здесь. Ждем ваших комментариев и pull-запросов :)
 

Вложения

  • 1710170194237.png
    1710170194237.png
    50.2 КБ · Просмотры: 22
  • ai.zip
    640.9 КБ · Просмотры: 31
Последнее редактирование:
Итак. Сегодняшнее обновление, v1.4, приносит несколько значимых изменений:
  • Добавлена проверка наличия необходимых инструментов для сканирования (если их нет - устанавливаем)
  • Улучшен пользовательский интерфейс в консольном режиме.
  • Внедрен скан репутации домена с выводом подробного отчета в файл. Код анализирует репутацию домена и проводит проверку через сервис VirusTotal (для этого потребуется предоставить ключ). Перед началом сканирования пользователю предлагается выбрать эту опцию.
  • Исправлены небольшие ошибки.
Важно! Если вы хотите провести скан на репутацию, то нужно будет установить virustotal-python командой pip install virustotal-python

1710252827553.png


Новая версия выложена здесь: https://github.com/ElonMusk2002/Automated-Web-Scanner-with-AI-Integration


Однако, для вашего удобства, я также разместил код прямо здесь. Жду ваших комментариев и pull-запросов :)
 

Вложения

  • ai.zip
    650.8 КБ · Просмотры: 34
Итак. Сегодняшнее обновление, v1.4, приносит несколько значимых изменений:
  • Добавлена проверка наличия необходимых инструментов для сканирования (если их нет - устанавливаем)
  • Улучшен пользовательский интерфейс в консольном режиме.
  • Внедрен скан репутации домена с выводом подробного отчета в файл. Код анализирует репутацию домена и проводит проверку через сервис VirusTotal (для этого потребуется предоставить ключ). Перед началом сканирования пользователю предлагается выбрать эту опцию.
  • Исправлены небольшие ошибки.
Важно! Если вы хотите провести скан на репутацию, то нужно будет установить virustotal-python командой pip install virustotal-python

Посмотреть вложение 79680

Новая версия выложена здесь: https://github.com/ElonMusk2002/Automated-Web-Scanner-with-AI-Integration


Однако, для вашего удобства, я также разместил код прямо здесь. Жду ваших комментариев и pull-запросов :)
a very nice guy, thanks for your attention
 
  • Избавился от использования Nikto и интегрировал вместо него инструмент nuclei (пока без возможности вывода в файл, но этот вопрос будет исправлен в следующем обновлении)
Молодцом. Еще советую подобрать и добавить типовые/стандартные для большинства таргетов темплейты (хотя бы кей -as), либо сделать интуитивно понятную возможность их выбора/установки для пользователя. т.к. просто nuclei "из коробки" не совсем вариант. Темплейты, в принципе, составляют ядро сканера, а сам nuclei, в свою очередь, составляет значимую часть твоего проекта. Советую уделить больше времени на знакомство с инструментом, чтобы отчеты были более информативны.

  • Добавлена интеграция с vuln/vulscan.nce (прежде чем использовать, убедитесь, что он установлен), так как этот инструмент довольно специфичен, теперь есть опция выбора сканирования с использованием скрипта или без него (см. скриншот ниже).
Блть, ну я же специально выделил, что именно так делать не надо! Основной акцент был на использование NSE в целом, а не именно этих vulnscan скриптов! Они кривые, выдают кучу мусора, отвлекают "пентестера" (гы) на разбор этого говна. У nuclei есть свои чеки на cve, гораздо более соответствующие конечным целям пользователя..
 
Молодцом. Еще советую подобрать и добавить типовые/стандартные для большинства таргетов темплейты (хотя бы кей -as), либо сделать интуитивно понятную возможность их выбора/установки для пользователя. т.к. просто nuclei "из коробки" не совсем вариант. Темплейты, в принципе, составляют ядро сканера, а сам nuclei, в свою очередь, составляет значимую часть твоего проекта. Советую уделить больше времени на знакомство с инструментом, чтобы отчеты были более информативны.
спасибо, потихоньку буду реализовывать , сделаю к концу недели точно )
Блть, ну я же специально выделил, что именно так делать не надо! Основной акцент был на использование NSE в целом, а не именно этих vulnscan скриптов! Они кривые, выдают кучу мусора, отвлекают "пентестера" (гы) на разбор этого говна. У nuclei есть свои чеки на cve, гораздо более соответствующие конечным целям пользователя..
ну vulnscan выделялся своей простотой. Я уберу его, заменю на другой, более эффективный скрипт. Я уделил выше, что он специфичен, и поэтому оставляю выбор за ПОЛЬЗОВАТЕЛЕМ - скан с ним, либо без.

Спасибо за фидбек, лайк ему завтра поставлю (ограничения), они мне реально нравятся (это довольно тонкая тема). В течении пару дней это все (либо часть) реализую.
 
Подскажите, что делать
Посмотреть вложение 79778
установи зависимости, в твоем случае это то, что в одинарных кавычках - colored, если подобное будет выскакивать, то просто устанавливай библиотеку в одинарных кавычках, также убедись что у тебя будет установлен nuclei: sudo apt install nuclei . Будут еще вопросы - в пм форума мне напиши
 
Итак. Сегодняшнее обновление, v1.5, приносит несколько значимых изменений:
  • Внедрен один шаблон из набора Nuclei. В следующем обновлении будет внедрена возможность добавления других опций из него.
  • Добавлен новый параметр к nuclei скану, позволяющий указать путь к желаемому шаблону и сканировать его вместе с другими (бета-версия).
  • Улучшен процесс установки инструментов, если они отсутствуют.
  • Убран скрипт vulnscan, вместо него добавлен NSE. Перед запуском скрипт спрашивает у пользователя разрешение на его выполнение.
  • Улучшена секция справки (help).
  • Улучшена проверка загрузки конфигурации с более понятными сообщениями об ошибках, которые могут возникнуть при вводе пользователем некорректных данных.
  • Улучшен процесс добавления пользовательских инструментов (бета-версия)
  • Значительно улучшен консольный UI
  • Улучшил читаемость кода

В след обновлении также отредачу актуальный README с актуальными скриншотами

Новая версия выложена здесь: https://github.com/ElonMusk2002/Automated-Web-Scanner-with-AI-Integration


Однако, для вашего удобства, я также разместил код прямо здесь. Жду ваших комментариев и pull-запросов :)
 

Вложения

  • ai.zip
    669.4 КБ · Просмотры: 22
  • Внедрен один шаблон из набора Nuclei. В следующем обновлении будет внедрена возможность добавления других опций из него.
  • Добавлен новый параметр к nuclei скану, позволяющий указать путь к желаемому шаблону и сканировать его вместе с другими (бета-версия).

Screenshot_1.jpg


Стоооп стоп стоп, я че то не внимательно прочитал, видимо, предыдущие твои апы. Либо ты вообще не верно меня понял. Я советовал убрать nikto, вижу убрал. Я так-же посоветовал добавить nuclei, ты добавил. Но ты nikto заменил на nuclei? o_0 :D Мужик, я тебе советовал использовать их в совершенно разных контекстах, освещенных в рамках одного моего поста, а не всего твоего проджа в целом. И не "вместо", а "в дополнение к остальным". Nuclei же предполагалось добавить вместо vulscan, для чека на известные CVE, т.к. последний был просто для примера использования NSE в нмапе, а нуклей, собственно, для подобных целей и предназначен. Nikto же, в свою очередь, просто глючный говно сканер, убрать его совсем нахер, но заменить на что то соответствующее (не на нуклей блть!). Ты прям дословно всё сделал :D Показал вулнскан как пример - ты пихнул его в продж, показал нуклей - ты сразу тоже его засунул туда. Еще раз, разберись, чем конкретно занимаются интегрируемые тобой софты.

Nuclei, в принципе, тоже может в WV, но это не основная его функция. Он не будет "из коробки" искать тебе sql, rce, xss, ssrf, afr, rfi, traversalы etc. Он нужен, если например при поиске wv задетектил вордпресс, то использовать расширенный
которого нет в стандартном наборе, а не долбить таргет на скули и прочие баги вкруговую по всем эндпоинтам, т.к. уязвимостей подобного плана у приведенного в пример WP - не будет, зато будет просто дикое паливо.
Нуклей в основном чекает на уже известные cve ( + чекает не только http, dns, ssl но и raw tcp) и предназначен для автоматизации различных действий в этом направлении, для сбора инфы, а не для чека на баги web owasp top 10 в рандомных точках вставки.

Если ты хочешь, чтобы nuclei сканил тебе на wv, скачай fuzzing templates от вендора и в конфиге .nuclei-ignore удали в tags: кей - "fuzz" + подкидывай сразу всю папку с шаблонами -t fuzzing-templates/ а не один какой то шаб, который ты там "внедрил"

Тогда будет вот такой вывод:
Screenshot_2.jpg

Однако, это работает онли по списку урлов, поэтому их надо с таргета предварительно сграбить и передать нулейке напр. через pipeline от какого нибудь вспомогательного инструмента, который для этого предназначен.
Например вот:готовое решение, но оно далеко не универсально:
Вывод:
Screenshot_3.jpg


Темплэйты не из стандартного набора можешь посмотреть еще тут

Но это всё не панацея. Нормальные баги ты так не найдешь. Если ты хочешь использовать более-менее полноценный wv комбайн c нормальной выдачей и полную автоматизацию а не кастомный чек-скан, то лучше взять крякнутый acunetix (например тут), и запускать его с помощью AcuAutomate (cli), со своими софтами (либо отдельно), например:
subfinder -silent -d target.com | httpx -silent | ./AcuAutomate.py scan -p -t {full,high,weak,crawl,xss,sql}
и парси уже его отчет. Отчет очень информативный, со всеми багами, картой сайта, сабами, инфо по таргету, etc. Его даже и парсить, в принципе, не надо. Там уже всё есть :D Разве что для промптов под ai Все таки нуклей и акунетикс это разные вещи.

По факту, подведя итог, ты nikto ни на что не заменил, точнее заменил не на то что надо ))) И у тебя нуклей может выполнять функции нмап и наоборот, sqlmapу тоже вопрос, ты передаешь найденные sql-inj как аргумент или ебошишь им по всему таргету? У тебя половина софтов делает тоже самое, что остальная половина, они взаимозаменяемы. Можно обойтись вообще одним или парой, просто настроив их. Вот sslscan и dnsrecon, они нахера там нужны? nmap тоже тут... не пришей рукав, нуклей твои задачи сделает, у тебя они стандартные. Разве только если грамотно NSE скрипты подобрать. Разберись с этим. Напихал лижь бы было, адекватного результата это не даст.

В общем нет времени (да и желания) щас подробно все расписывать. Пока очень слабо и не продуктивно + ты многое из того, что делаешь - не понимаешь. Может позже скажу, что лучше и как сделать, но блть, я тебе накидываю варианты для того, чтобы тебя на их основе посетила своя креативная идея реализации, а ты всё воспринимаешь как ТЗ и xуяришь по нему :D :D :D Я скоро "например", "как вариант" и т.п. буду жирным курсивом подчеркнутым и красным цветом выделять для тебя )))
 
Последнее редактирование:
Привет, спасибо за очередную критику, сейчас разберу🤝

Стоооп стоп стоп, я че то не внимательно прочитал, видимо, предыдущие твои апы. Либо ты вообще не верно меня понял. Я советовал убрать nikto, вижу убрал. Я так-же посоветовал добавить nuclei, ты добавил. Но ты nikto заменил на nuclei? o_0 :D Мужик, я тебе советовал использовать их в совершенно разных контекстах, освещенных в рамках одного моего поста, а не всего твоего проджа в целом. И не "вместо", а "в дополнение к остальным". Nuclei же предполагалось добавить вместо vulscan, для чека на известные CVE, т.к. последний был просто для примера использования NSE в нмапе, а нуклей, собственно, для подобных целей и предназначен. Nikto же, в свою очередь, просто глючный говно сканер, убрать его совсем нахер, но заменить на что то соответствующее (не на нуклей блть!). Ты прям дословно всё сделал :D Показал вулнскан как пример - ты пихнул его в продж, показал нуклей - ты сразу тоже его засунул туда. Еще раз, разберись, чем конкретно занимаются интегрируемые тобой софты.

Прежде всего, я ценю мнение сообщества, очень ценю. Насчет nuclei, да, базово включено проверку на cve, но еще и аргумент есть, где можно добавить путь до твоего теплэйта для скана можно, это все учтено. Ну тут я тебя не понимаю, на то и критика: я рассмотрел предложения, которые ты высказал, и внедрил их в проект. Твои идеи мне действительно импонируют, что, в конце концов, свидетельствует о том, что я уважаю твоё мнение. Моя цель не просто угодить тебе, а сделать проект ещё лучше благодаря тебе. Это касается как кастомного сканера, так и интегрированных инструментов. Их задача не в том, чтобы мгновенно взломать домен, а скорее предоставить максимум полезной информации, что и было моей первоначальной целью. Можно настроить инструменты в коде, добавить новые или удалить существующие, используя доступные аргументы. В качестве примера для пользователей, не разбирающихся в технических деталях, я добавил быстрые инструменты сканирования, которые изначально предустановленные в кали, тут философия была проста.

Nuclei, в принципе, тоже может в WV, но это не основная его функция. Он не будет "из коробки" искать тебе sql, rce, xss, ssrf, afr, rfi, traversalы etc. Он нужен, если например при поиске wv задетектил вордпресс, то использовать расширенный
которого нет в стандартном наборе, а не долбить таргет на скули и прочие баги вкруговую по всем эндпоинтам, т.к. уязвимостей подобного плана у приведенного в пример WP - не будет, зато будет просто дикое паливо.
Нуклей в основном чекает на уже известные cve ( + чекает не только http, dns, ssl но и raw tcp) и предназначен для автоматизации различных действий в этом направлении, для сбора инфы, а не для чека на баги web owasp top 10 в рандомных точках вставки.

Если ты хочешь, чтобы nuclei сканил тебе на wv, скачай fuzzing templates от вендора и в конфиге .nuclei-ignore удали в tags: кей - "fuzz" + подкидывай сразу всю папку с шаблонами -t fuzzing-templates/ а не один какой то шаб, который ты там "внедрил"
да, ты прав. Со второй частью можно реализовать как идею, когда я доделаю сканер до достаточно комплексных настроек. Опять же, если эта идея не из категории: "мое обязательное тз с сегоднешнего дня" , если ты понял мою шутку:D
Но это всё не панацея. Нормальные баги ты так не найдешь. Если ты хочешь использовать более-менее полноценный wv комбайн c нормальной выдачей и полную автоматизацию а не кастомный чек-скан, то лучше взять крякнутый acunetix (например тут), и запускать его с помощью AcuAutomate (cli), со своими софтами (либо отдельно), например:
subfinder -silent -d target.com | httpx -silent | ./AcuAutomate.py scan -p -t {full,high,weak,crawl,xss,sql}
и парси уже его отчет. Отчет очень информативный, со всеми багами, картой сайта, сабами, инфо по таргету, etc. Его даже и парсить, в принципе, не надо. Там уже всё есть :D Разве что для промптов под ai Все таки нуклей и акунетикс это разные вещи.
Воу, вот от этой идеи реально большая польза. Видно, что это принесет больше пользы. От парочки тулз, опять же, демонстративных, можно избавиться благодаря этой однострочки.
В общем нет времени (да и желания) щас подробно все расписывать. Пока очень слабо и не продуктивно + ты многое из того, что делаешь - не понимаешь. Может позже скажу, что лучше и как сделать, но блть, я тебе накидываю варианты для того, чтобы тебя на их основе посетила своя креативная идея реализации, а ты всё воспринимаешь как ТЗ и xуяришь по нему :D :D :D Я скоро "например", "как вариант" и т.п. буду жирным курсивом подчеркнутым и красным цветом выделять для тебя )))
Ссканер обладает огромным потенциалом, особенно если его оснастить качественными инструментами. С самого начала и до сих пор я стараюсь учитывать потребности широкой аудитории, что, конечно же, и приводит к потере качества и эффективности, это прекрасно видно. Повторюсь, я много что добавил, помимо добавления скрипта нмпа, и сноса никто на нуклеи, это не мое тз, можно считать как угодно, это просто называется, что я беру твои фидбеки всерьез и их исправляю. У тебя куда больше опыта в этом, поэтому каждому нужно брать подобные рода критики всерьез. Несмотря на все это, я продолжу развивать проект. Сравнив ее первоначальную версию и текущую - это довольно большие изменения, изменения в лучшую сторону. Для тех, кому что-то не нравится в сканере - может сюда расписать или даже кинуть пулл реквест на гитхабе, расписав что и как. Это реально поможет. Еще раз, спасибо за фидбек, от него сканер хуже не станет:D
 
Последнее редактирование:
Всем привет, обновление далось немного трудным, но затягивать не буду, в следующих обновах все недочеты сегодняшнего исправлю.

Итак. Сегодняшнее обновление, v1.6, приносит несколько значимых изменений:
  • Обновлен пользовательский интерфейс с очисткой терминала после запуска скрипта для лучшей читаемости. Теперь код описания размещен в более удобном месте, что облегчает навигацию.
  • Заменен инструмент sqlmap на ZAP. Добавлен скрипт install_zap.sh для установки текущей версии ZAP (примечание: в настоящее время наблюдаются проблемы с его корректной работой, над этим ведется работа).
  • Упрощена проверка наличия необходимых инструментов, теперь если какой-либо из них не установлен, программа автоматически предоставляет ссылку на сайт Kali Linux для его установки. Время проверки сокращено до меньше чем за секунду.
  • Добавлены два новых аргумента: --nuclei-template, который позволяет выбрать один из 10 самых популярных шаблонов для сканирования, и --nuclei-template-path, который требует указания пути к собственному шаблону для сканирования.
  • Обновлен файл requirements.txt с актуальными версиями зависимостей.
  • Обновлен README: заменены устаревшие изображения на актуальные, а также улучшены и заменены некоторые другие разделы.
  • Исправлен незначительный баг в отчете, который ограничивал видимость отчетов из-за некорректных стилей, а также внесены небольшие улучшения с помощью метатегов.

1710767634517.png


1710767623378.png


Новая версия выложена здесь: https://github.com/ElonMusk2002/Automated-Web-Scanner-with-AI-Integration


Однако, для вашего удобства, я также разместил код прямо здесь. Жду ваших комментариев и pull-запросов :)
 

Вложения

  • ai.zip
    2.4 МБ · Просмотры: 22
Итак. Сегодняшнее обновление, v1.7, приносит несколько значимых изменений:
  • Теперь в отчете в формате HTML добавлена таблица, отображающая обнаруженные уязвимости, которые сканировщик обнаружил. Эта таблица размещена перед рекомендациями ИИ, что делает информацию более доступной.
  • Поиск потенциальных уязвимостей по ключевым словам был значительно улучшен. Теперь сканер с большей точностью отображает результаты в таблице и отчете.
  • Организация кода в обоих файлах была улучшена для более эффективного и чистого кодирования.
  • Добавлены минималистичные стили для улучшения визуального восприятия таблицы.

Эти изменения, хоть и небольшие, но значительно повышают функциональность и удобство использования проекта.

Обновления довольно долго не было, занимаюсь набивкой своего личного портфолио. Так же, идеи имеют свойства кончатся, поэтому прошу помощи у вас, помимо доработки уже существующих функций, нужны и новые, которые значительно дополняют функционал сканера.

Возможно, нужно отдать ИИ в сканере большее внимание. Надеюсь, что в след обновлениях его роль значительно вырастет.


8kc90h.jpg


(но воспринимать в серьез)


Новая версия выложена здесь: https://github.com/ElonMusk2002/Automated-Web-Scanner-with-AI-Integration


Однако, для вашего удобства, я также разместил код прямо здесь. Жду ваших комментариев и pull-запросов :)
 

Вложения

  • ai.zip
    2.4 МБ · Просмотры: 13
Добавил новый профиль ИИ, улучшил код и добавил больше информации об ошибках.


Новый код можно посмотреть на гитхабе - https://github.com/ElonMusk2002/Automated-Web-Scanner-with-AI-Integration

Однако, для вашего удобства, я также разместил код прямо здесь.

Также недавно создал проект для чата с кибер гемини про, проект и ссылка выложена на странице проекта - https://github.com/ElonMusk2002/gemini-cybersec-pro-chat
 

Вложения

  • ai.zip
    2.5 МБ · Просмотры: 25
небольшой апдейт проекта, вот пару изменений:
  • Произведена очистка и оптимизация кода.
  • Улучшена обработка данных в нескольких функциях.
  • Исправлены недочеты в отчете.
  • Повышены стили для более приятного визуального восприятия.
  • Добавлен футер для завершения интерфейса.
Новый код можно посмотреть на гитхабе - https://github.com/ElonMusk2002/Automated-Web-Scanner-with-AI-Integration

Однако, для вашего удобства, я также разместил код прямо здесь.
 
разбил один файл на несколько для лучшей читаемости, если что то не ворк - велком ту ишьюс, хотите внести вклад - пр

на случай сделал бэкап

 


Напишите ответ...
  • Вставить:
Прикрепить файлы
Верх