• XSS.stack #1 – первый литературный журнал от юзеров форума

Теория и практика создания нейросетей и ИИ

Отслеживать
Пожалуйста, обратите внимание, что пользователь заблокирован
BL4CK_XSS сказал(а):
Сомневаюсь, что серьезные и крупные проекты в сфере ИИ пишутся на Python. Самый неуважаемый мною ЯП (моё мнение, если задел питонистов - извиняюсь)
Вот тут кстати разные версии есть почему так именно питон основной язык

qna.habr.com

ÐейÑоÑеÑи. ÐоÑÐµÐ¼Ñ Python?

Ответили на вопрос 4 человека. Оцените лучшие ответы! И подпишитесь на вопрос, чтобы узнавать о появлении новых ответов.
qna.habr.com

qna.habr.com

ÐоÑÐµÐ¼Ñ Python иÑполÑзÑÑÑ Ð´Ð»Ñ Ð½Ð°Ð¿Ð¸ÑÐ°Ð½Ð¸Ñ Ð½ÐµÐ¹ÑоннÑÑ ÑеÑей, а Ruby/Php/Perl неÑ?

Ответили на вопрос 7 человек. Оцените лучшие ответы! И подпишитесь на вопрос, чтобы узнавать о появлении новых ответов.
qna.habr.com

Нейронные сети на Python: как всё устроено

В статье рассказывается про нейронные сети на Python. Узнаете причины выбора Python для программирования нейронных сетей
gb.ru
 
sikidok сказал(а):
Спасибо. Очень много полезного.
Мне лично интересна только текстовая модель.

просто если ее научить нормально говорить то это может окупится за несколько месяцев.
A Ей надо будет говорит, И говорит много.

есть одна идея!
Если не получится попробуй взять готовое решение, api или токен от чат гпт, вроде был даже сайт от куда все утекало, бард (есть неофициальные расширения на гитхабе, но знает только английский), и Hugging Face (но он плохо знает русский, но зато бесплатный)

Есть еще такое , DialoGPT: https://github.com/microsoft/DialoGPT проект предлагает бесплатный API, который вы можете использовать для общения с большой языковой моделью.

Тут еще глянь если будут ошибки https://ru.stackoverflow.com
 
🎥Chat GPT пишет Телеграм бот для общения с ИИ - скрипт на Пайтон

В этом видео автор будет использовать возможности Chat GPT сперва для написания технического задания на разработку Телеграм бота для общения с ИИ, а потом попросим Chat GPT на основе этого сгенерированного им же ТЗ написать на Python код Telegram бота, одной из ключевых особенностей которого будет обязательная проверка подписки на Телеграм канал

 
 
ktpm23 сказал(а):
Есть еще такое , DialoGPT: https://github.com/microsoft/DialoGPT проект предлагает бесплатный API, который вы можете использовать для общения с большой языковой моделью.
Английский как раз подходит. для меня английский как родной язык ))

за DialoGPT отдельное спасибо. попробую по общаться с ним. на свою тематику.

для меня не нужно идеального результата пока, если кое как уже как человек общается тo нормально.
Надо одну тему попробовать ))

Потом уже если тема пойдет (а она должна пойти) то тогда уже можно работать дальше.

не могу поставить реакцию, на сегодня закончились.
 
Последнее редактирование:
 
Пожалуйста, обратите внимание, что пользователь заблокирован
BL4CK_XSS сказал(а):
Сомневаюсь, что серьезные и крупные проекты в сфере ИИ пишутся на Python
Это говорит только о том, что ты совершенно в этой сфере не разбираешься.
 
DildoFagins сказал(а):
Это говорит только о том, что ты совершенно в этой сфере не разбираешься.
Я кстати очень мало видел вообще литературы по написанию ии и нейронок на других языках, интересно почему так? Но кто-то умудряется и на С и С++ писать.
 
Пожалуйста, обратите внимание, что пользователь заблокирован
ktpm23 сказал(а):
Я кстати очень мало видел вообще литературы по написанию ии и нейронок на других языках, интересно почему так?
Ну сейчас уже велосипедов в этой сфере изобретать не надо никому. Как бы все равно большая часть всяческих ML библиотек для Петухона написано на Цэ или Плюсах, и они достаточно производительны для большинства задач. На Петухоне пишется по сути обвязка, чтобы библиотеки могли взаимодействовать друг с другом и с данными. В Петухоне, конечно, есть свои заморочки с производительностью, типа GIL, или медленных циклов, но среднестатистический датасатанист вполне готов с этим жить, лишь бы не страдать с Цэ или Плюсами. В крайнем случае есть Джулия, которая уже лет пять назад оказалась в "петафлоп клубе", наряду с Цэ, Плюсами и, наверное, Фортраном.
 
Так тут вопрос образовался к знающим людям, каким примерно должен выглядеть датасет для обучения нейросети под определенные задачи?
Например у нас есть логи пентестера - от атакаует целевую машину через реверсшелл, допустим вводя команды на powershell и получая ответы от целевой машины.

Например пентестер вводит в консоль:
Код: 
Get-Information

система отвечает:
Код: 
Get-Information : The term 'Get-Information' is not recognized as the name of a cmdlet, function, script file, or opera
ble program. Check the spelling of the name, or if a path was included, verify that the path is correct and try again.
At line:1 char:1
+ Get-Information
+ ~~~~~~~~~~~~~~~
    + CategoryInfo          : ObjectNotFound: (Get-Information:String) [], CommandNotFoundException
    + FullyQualifiedErrorId : CommandNotFoundException

Допустим у меня таких логов тьма тьмущая, каким образом можно обучить нейросеть предсказывать по ответам системы что вводить. Как лучше сформировать датасет, что почитать для этого, парсер я данных конечно же напишу, но кто нибудь занимался таким?
 
heker сказал(а):
Так тут вопрос образовался к знающим людям, каким примерно должен выглядеть датасет для обучения нейросети под определенные задачи?
Например у нас есть логи пентестера - от атакаует целевую машину через реверсшелл, допустим вводя команды на powershell и получая ответы от целевой машины.

Например пентестер вводит в консоль:
Код: 
Get-Information

система отвечает:
Код: 
Get-Information : The term 'Get-Information' is not recognized as the name of a cmdlet, function, script file, or opera
ble program. Check the spelling of the name, or if a path was included, verify that the path is correct and try again.
At line:1 char:1
+ Get-Information
+ ~~~~~~~~~~~~~~~
    + CategoryInfo          : ObjectNotFound: (Get-Information:String) [], CommandNotFoundException
    + FullyQualifiedErrorId : CommandNotFoundException

Допустим у меня таких логов тьма тьмущая, каким образом можно обучить нейросеть предсказывать по ответам системы что вводить. Как лучше сформировать датасет, что почитать для этого, парсер я данных конечно же напишу, но кто нибудь занимался таким?
Первым делом попробуй поискать похожие датасеты и проекты в свободном доступе и посмотри как они работают
 
habr.com

Подготовка датасета для машинного обучения: 10 базовых способов совершенствования данных

У Колумбийского университета есть хорошая история о плохих данных . Проект в сфере здравоохранения был нацелен на снижение затрат на лечение пациентов с пневмонией. В нём использовалось машинное...
habr.com
 
heker сказал(а):
Так тут вопрос образовался к знающим людям, каким примерно должен выглядеть датасет для обучения нейросети под определенные задачи?
Например у нас есть логи пентестера - от атакаует целевую машину через реверсшелл, допустим вводя команды на powershell и получая ответы от целевой машины.

Например пентестер вводит в консоль:
Код: 
Get-Information

система отвечает:
Код: 
Get-Information : The term 'Get-Information' is not recognized as the name of a cmdlet, function, script file, or opera
ble program. Check the spelling of the name, or if a path was included, verify that the path is correct and try again.
At line:1 char:1
+ Get-Information
+ ~~~~~~~~~~~~~~~
    + CategoryInfo          : ObjectNotFound: (Get-Information:String) [], CommandNotFoundException
    + FullyQualifiedErrorId : CommandNotFoundException

Допустим у меня таких логов тьма тьмущая, каким образом можно обучить нейросеть предсказывать по ответам системы что вводить. Как лучше сформировать датасет, что почитать для этого, парсер я данных конечно же напишу, но кто нибудь занимался таким?
Для обучения нейронной сети вам потребуется сформировать датасет, который будет содержать входные данные (команды пентестера) и соответствующие им выходные данные (ответы системы). В вашем примере, входными данными являются команды пентестера (например, "Get-Information"), а выходными данными - ответ системы (сообщение об ошибке).

Ниже приведены шаги, которые могут помочь вам сформировать датасет:

1. Создайте структуру датасета: вам необходимо определить формат и структуру датасета. Например, вы можете использовать CSV-файл, где каждая строка будет содержать входные данные (команду пентестера) и соответствующий им выходной результат (ответ системы).

2. Соберите данные: используйте ваши логи пентестера, чтобы собрать достаточное количество примеров команд и соответствующих ответов системы. Постарайтесь собрать разнообразные команды и различные ответы системы.

3. Парсинг данных: напишите парсер, который будет извлекать команды пентестера и соответствующие ответы системы из ваших логов. Ваш парсер должен быть способен извлечь команды и ответы из каждой записи в логах и сохранить их в датасете.

4. Предобработка данных: в некоторых случаях вам может потребоваться предобработать данные, чтобы они были в удобной форме для обучения нейросети. Например, вы можете преобразовать команды и ответы в числовые представления или применить методы обработки текста, такие как токенизация или стемминг.

5. Разделение на обучающую и тестовую выборки: после создания датасета разделите его на обучающую и тестовую выборки. Обычно выборка делится на 70-80% для обучения и 20-30% для тестирования.

6. Обучение нейронной сети: с использованием полученного датасета и выбранной архитектуры нейросети, обучите ее на вашем датасете. Вы можете использовать различные методы обучения, такие как прямое обучение или рекуррентные нейронные сети (RNN).

Чтобы лучше понять эти шаги, рекомендуется изучить соответствующую литературу и руководства по обучению нейронных сетей. Некоторые книги и ресурсы, которые могут быть полезны:
- "Deep Learning" by Ian Goodfellow, Yoshua Bengio, and Aaron Courville
- "Python Machine Learning" by Sebastian Raschka and Vahid Mirjalili
- "Stanford CS231n: Convolutional Neural Networks for Visual Recognition" (онлайн курс)

Также важно учитывать, что для обучения нейронной сети потребуется достаточное количество разнообразных примеров, чтобы обеспечить успешное обучение и предсказывающую способность.
 
heker сказал(а):
Так тут вопрос образовался к знающим людям, каким примерно должен выглядеть датасет для обучения нейросети под определенные задачи?
Например у нас есть логи пентестера - от атакаует целевую машину через реверсшелл, допустим вводя команды на powershell и получая ответы от целевой машины.

Например пентестер вводит в консоль:
Код: 
Get-Information

система отвечает:
Код: 
Get-Information : The term 'Get-Information' is not recognized as the name of a cmdlet, function, script file, or opera
ble program. Check the spelling of the name, or if a path was included, verify that the path is correct and try again.
At line:1 char:1
+ Get-Information
+ ~~~~~~~~~~~~~~~
    + CategoryInfo          : ObjectNotFound: (Get-Information:String) [], CommandNotFoundException
    + FullyQualifiedErrorId : CommandNotFoundException

Допустим у меня таких логов тьма тьмущая, каким образом можно обучить нейросеть предсказывать по ответам системы что вводить. Как лучше сформировать датасет, что почитать для этого, парсер я данных конечно же напишу, но кто нибудь занимался таким?
глянь еще это https://libgen.is/book/index.php?md5=74E92091FA78BD2C9635BCA05C8FE700

We live in an era where cyber security plays an important role. As systems are getting smarter, we now see machine learning interrupting computer security. With the adoption of machine learning in upcoming security products, it’s important for pentesters and security researchers to understand how these systems work, and to breach them for testing purposes.




 
вот еще

GitHub - PacktPublishing/Mastering-Machine-Learning-for-Penetration-Testing: Mastering Machine Learning for Penetration Testing, published by Packt

Mastering Machine Learning for Penetration Testing, published by Packt - GitHub - PacktPublishing/Mastering-Machine-Learning-for-Penetration-Testing: Mastering Machine Learning for Penetration Test...
github.com

www.sciencedirect.com

CUPID: A labeled dataset with Pentesting for evaluation of network intrusion detection

Reproducibility of network intrusion detection research necessitates widely available datasets that represent real-world scenarios. One of the key omi…
www.sciencedirect.com www.sciencedirect.com

Вот интересный дата сет в тему

Dataset Search

datasetsearch.research.google.com
 
admin


Напишите ответ...
  • Вставить:
Прикрепить файлы
Верх