Сделать себе GPT чат ?

[b1t]

Видимо я сильно стар уже и не могу понять весь механизм ИИ, как, что все работает. Вот например в интернете много всяких чат GPT , задаешь вопрос, и более менее отвечают. Но есть вопросы, например по проверку кода, или советы по пентестингу, они отказывают отвечать. А что если делать себе свой приватный чат для своего круга/компании ?
Что для этого нужен? И на сколько это реально реализовать такой сервис ?

 

[dunkel]

Вот например в интернете много всяких чат GPT , задаешь вопрос, и более менее отвечают. Но есть вопросы, например по проверку кода, или советы по пентестингу, они отказывают отвечать.

Chatgpt он один и есть только у openai (модель проприетарная, весит примерно терабайт, и ее охраняет служба безопасности openai, иначе если веса украдут любой сможет поднять ее).
Если ты пользуешься chatgpt где то в тг ботах - то это все turbo версии модели через api, у них выкручена цензура на максимум.
Chatgpt 4o на офф сайте https://chatgpt.com/ - гораздо меньше цензура и умней, пользуйся только ею

А что если делать себе свой приватный чат для своего круга/компании ?
Что для этого нужен? И на сколько это реально реализовать такой сервис ?

Можешь скачать себе на пк llm модель например отсюда https://huggingface.co/models . Модели весят от 10гб до нескольких терабайт, в зависимости от кол-ва параметров. В среднем чем больше параметров тем умнее, но есть некоторые маленькие модели у которых при обучении были хорошо размеченные данные и корпуса текстов, и они умнее больших. Одна и та же модель может быть с разным квантованием (гугли "llm квантование") - чем больше квантование тем точнее ответы и тем больше жрет озу. Под лучшие модели тебе понадобиться отдельный ssd на 1tb и 256гб озу.
Попробовать некоторые модели перед установкой можешь тут https://openrouter.ai/ (при реге аккаунта даеться 1$ на баланс, каждый запрос платный в зависимости от длины, если это не FREE модель)

 

[weaver]

Нужно желание, время и ресурсы. В некоторый языковых моделях просто встроены фильтры на цензуру. Чтобы обходить эту цензуру нужны джайлбрейки. Поэтому не все языковые модели могут отвечать на все ваши вопросы. Обучать свою нейросеть это занятие не для слаборневных прийдется много курить документации и много чего изучать + еще и железо нужно. Моделей с каждым днем становится всё больше. Поэтому не увительно, что можно потеряться среди них. Это нормально. Проще взять готовую языковую модель и развернуть её локально и начать с ней экспериментировать. А потом уже поднимать свой сервис, как это делают другие. Мануалов в интернете целая куча на эту тему.

Имхо
Языковые модели по большей части используются для генерации и советы по пентесту это сомнительный шаг в использование нейронок. Фишинг да имеет место быть, как и дипфейки. Генерация кода. Всё уже давно как бы придумано и нейронки просто обучаются на всём том, что придумали люди. Если нужны советы по пентесту спрашивайте у коллег. И не всегда совет нейронки может быть правильным. Как и ответ может быть ложным. Нейронки тоже могут ошибаться.

 

[goingHeavenTogether]

Конечно можно. Я видел как друзья ставят себе эти языковые модели и настраивают их под себя. К сожалению те которые в паблике плохо обучены и их придется донастраивать вручную. Весь материал как это делать есть в ютюбе.

P. S. Кстати я бы не советовал обращаться к нейросетям за советом потому что они страдают тупизной и могут сами придумать ответ порой абсурдный.

 

[b1t]

Chatgpt 4o на офф сайте https://chatgpt.com/ - гораздо меньше цензура и умней, пользуйся только ею

да я туда без vpn не могу зайти. в РУ адресов почему то блокирован. Получается чат джипити - это бренд просто, своя разработка.

Можешь скачать себе на пк llm модель например отсюда https://huggingface.co/models . Модели весят от 10гб до нескольких терабайт, в зависимости от кол-ва параметров.

Спасибо за ссылки, но мне это пока рано ))) я очень мало соображаю в этой теме, хотелось бы немного пока поизучать. Может какой то видеокурс найду по этим темам, посмотреть с внутри как это все работает.

Нужно желание, время и ресурсы. В некоторый языковых моделях просто встроены фильтры на цензуру. Чтобы обходить эту цензуру нужны джайлбрейки.

да вот я начинаю понимать, что не все так просто, как я думал. Но мне реально интересно все это посмотреть "под капотом", как работает все это, как учится сеть. Я конечно программист никакой, но думаю пойму хоть логику. А то все про это говорят, тоже хотел бы немного вникать в это, только боюсь, что без знаний программирования там делать нечего..
А с цензурой да, думал себе поставить , для внутреннего пользования, что то типа личного ассистента Поищу все такие курсы про это, может найду что то для НЕ специалистов в этой сфере.