• XSS.stack #1 – первый литературный журнал от юзеров форума

Локальная текстовая модель ai

assembler

HDD-drive
Пользователь
Регистрация
12.05.2023
Сообщения
27
Реакции
1
Какие есть локальные текстовые модели ai, что бы они были не мега тупыми?

Искал искал, огромное куча всего, хочу сразу просто спросить у людей кто знает, что лучше юзать
 
deepseek - только изходя из твоего вопроса есть мысль что у тебя нет ресурсов чтоб такую модель хостить. мелкие незнаю наврено LLama 3.2 топ будут
 
Пожалуйста, обратите внимание, что пользователь заблокирован
Пожалуйста, обратите внимание, что пользователь заблокирован
Пожалуйста, обратите внимание, что пользователь заблокирован
Уже все настроил

 
Кто знает про локальные модели для работы с документами ? Которые могут читать документы и искать необходимую инфу ?
Любые большие языковые модели могут.
 
Имею ввиду массово включая сканы документов . Например прочитать пару сотен тысяч файлов в разных форматах и найти нужную информацию
Тут все немного сложнее, тебе нужно читать эти документы, делать из них векторное представлиние ( по чанкам ), записывать в какое то векторное хранилище и после этого уже задавать какие то вопросы по всем документам, которые у тебя есть, вроде бы это называется RAG, есть какая то инфа в хранлище, задаем вопрос по всему эту хранилищу и получаем максимально похожее и потом еще аишка это все пропарсит и найдет максимально подходящее для тебя по смыслу. Подойдет для этого по сути самая дефолтная модель llama 3.1 8b. Поднять ее можно локально, требования не очень большие
 
Имею ввиду массово включая сканы документов . Например прочитать пару сотен тысяч файлов в разных форматах и найти нужную информацию
как вариант можно попробовать сделать скрипт который будет открывать документы, через YOLO(ИИ) детектить текст и заносить его условно в текстовик + скрипт который будет открывать текстовики и прогонять все через языковую модель

скорее всего я тебе сейчас какую то х#йню написал, но если ниче не получится то можно наверное так сделать.
 
ну, может просто у человека весьма нехилый такой локалхост ценой под 100к недеревянных )))

Тут все немного сложнее, тебе нужно читать эти документы, делать из них векторное представлиние ( по чанкам ), записывать в какое то векторное хранилище и после этого уже задавать какие то вопросы по всем документам, которые у тебя есть, вроде бы это называется RAG, есть какая то инфа в хранлище, задаем вопрос по всему эту хранилищу и получаем максимально похожее и потом еще аишка это все пропарсит и найдет максимально подходящее для тебя по смыслу. Подойдет для этого по сути самая дефолтная модель llama 3.1 8b. Поднять ее можно локально, требования не очень большие
если упрощенно в домашних условиях, то LMStudio с моделями, поддерживающими vision (на не очень мощной домашней машине, скорее всего модель llava-phi-3-mini-int4 , если что-то немного помощнее, то llama 3.2 vision (кажись на 70Б параметров)) но это, если документов не очень много и обьем контекста модели позволяет.

как вариант можно попробовать сделать скрипт который будет открывать документы, через YOLO(ИИ) детектить текст и заносить его условно в текстовик + скрипт который будет открывать текстовики и прогонять все через языковую модель

скорее всего я тебе сейчас какую то х#йню написал, но если ниче не получится то можно наверное так сделать.
не, немного не так, либо доки с распознаванием текста (например через tesseract или finereader автоматизировать), потом распознаннный текст закидываешь в контекст (RAG, как написал человек выше).

или предварительно обработать всю базу знаний, разбить ее по разделам, а потом анализировать введенный текст упрощенными алгоритмами на тему о которой будет идти разговор и подсовывать в раг именно тот раздел документации, который нам нужен сейчас по тематике запроса.
 
как вариант можно попробовать сделать скрипт который будет открывать документы, через YOLO(ИИ) детектить текст и заносить его условно в текстовик + скрипт который будет открывать текстовики и прогонять все через языковую модель

скорее всего я тебе сейчас какую то х#йню написал, но если ниче не получится то можно наверное так сделать.
текстовый файл тут не подойдет. тебе нужен именно векторная база данных, таких куча, можешь погуглить. например у тебя есть 10к документов по 3к символов в каждом, если ты их запишешь все просто текстом в файл, то тебе и нужно будет их давать ВСЕ иишке, что в корне неправильно, для этого придумали векотрные базы, в которые ты записываешь векторное представление от текста, там массив с цифрами. При запросе в эту базу, ты получаешь ТОЛЬКО похожий результат ( не по семантике ) из этого текста и уже эти данные даешь в иишку и просишь ее промптом разьяснить подробнее об эти данных.
 
текстовый файл тут не подойдет. тебе нужен именно векторная база данных, таких куча, можешь погуглить. например у тебя есть 10к документов по 3к символов в каждом, если ты их запишешь все просто текстом в файл, то тебе и нужно будет их давать ВСЕ иишке, что в корне неправильно, для этого придумали векотрные базы, в которые ты записываешь векторное представление от текста, там массив с цифрами. При запросе в эту базу, ты получаешь ТОЛЬКО похожий результат ( не по семантике ) из этого текста и уже эти данные даешь в иишку и просишь ее промптом разьяснить подробнее об эти данных.
текстовик имел ввиду условно для наглядности ) а так за наводочку спасибо, надо бы глянуть
 
ну, может просто у человека весьма нехилый такой локалхост ценой под 100к недеревянных )))


если упрощенно в домашних условиях, то LMStudio с моделями, поддерживающими vision (на не очень мощной домашней машине, скорее всего модель llava-phi-3-mini-int4 , если что-то немного помощнее, то llama 3.2 vision (кажись на 70Б параметров)) но это, если документов не очень много и обьем контекста модели позволяет.


не, немного не так, либо доки с распознаванием текста (например через tesseract или finereader автоматизировать), потом распознаннный текст закидываешь в контекст (RAG, как написал человек выше).

или предварительно обработать всю базу знаний, разбить ее по разделам, а потом анализировать введенный текст упрощенными алгоритмами на тему о которой будет идти разговор и подсовывать в раг именно тот раздел документации, который нам нужен сейчас по тематике запроса.
обработка данных прендварительно понадобиться в любом случае. по разделам разбивать ( очень хорошая идея ), но лучше разбивать по парагрфам. так же нужно не забыть, чтобы добавлять метаданные к каждому параграфу, которые косвенно может относиться к нему. задача специфическая, нужно понимать как это все оптимизировать и не наделать лишнего. лишний текст для ии - галюцинация. так же задача может усложиться, если документы кардинально разные по шаблону, иишке порой сложно понять это :)
 
обработка данных прендварительно понадобиться в любом случае. по разделам разбивать ( очень хорошая идея ), но лучше разбивать по парагрфам. так же нужно не забыть, чтобы добавлять метаданные к каждому параграфу, которые косвенно может относиться к нему. задача специфическая, нужно понимать как это все оптимизировать и не наделать лишнего. лишний текст для ии - галюцинация. так же задача может усложиться, если документы кардинально разные по шаблону, иишке порой сложно понять это :)
да, конечно.
я описал задачу довольно обобщенно и высокоуровнево, а дальше нужно уже правильно выстраивать логику под свою конкретную задачу: на сколько кусков бить файлы для rag, как передобрабатывать запрос для того, чтобы выбирать какой файл подсовывать в качестве rag...там очень много вариантов для творчества и фантазии...
 
Имею ввиду массово включая сканы документов . Например прочитать пару сотен тысяч файлов в разных форматах и найти нужную информацию
За деньги - да. :) Любая топовая модель, чатгпт, клод, джемини - по апи будет читать твои документы, только дорого.
Вообще, такая штука, когда в модель подгружаются твои данные, называется RAG:
Всё это пока сыро и дорого.
 
В телеге есть группа товарищей, у которых реально ноды с H100 стоят дома. Но им разумеется ничего настраивать не надо - уже всё настроено. :) То есть взаимоисключающие параграфы выходят - либо не знаешь про модель, либо не надо настраивать.
 


Напишите ответ...
  • Вставить:
Прикрепить файлы
Верх