Ничего себе, спасибо я даже не знал что такие существуют. Уже все настроил
Любые большие языковые модели могут.
Тут все немного сложнее, тебе нужно читать эти документы, делать из них векторное представлиние ( по чанкам ), записывать в какое то векторное хранилище и после этого уже задавать какие то вопросы по всем документам, которые у тебя есть, вроде бы это называется RAG, есть какая то инфа в хранлище, задаем вопрос по всему эту хранилищу и получаем максимально похожее и потом еще аишка это все пропарсит и найдет максимально подходящее для тебя по смыслу. Подойдет для этого по сути самая дефолтная модель llama 3.1 8b. Поднять ее можно локально, требования не очень большие
как вариант можно попробовать сделать скрипт который будет открывать документы, через YOLO(ИИ) детектить текст и заносить его условно в текстовик + скрипт который будет открывать текстовики и прогонять все через языковую модель
ну, может просто у человека весьма нехилый такой локалхост ценой под 100к недеревянных )))
если упрощенно в домашних условиях, то LMStudio с моделями, поддерживающими vision (на не очень мощной домашней машине, скорее всего модель llava-phi-3-mini-int4 , если что-то немного помощнее, то llama 3.2 vision (кажись на 70Б параметров)) но это, если документов не очень много и обьем контекста модели позволяет.
не, немного не так, либо доки с распознаванием текста (например через tesseract или finereader автоматизировать), потом распознаннный текст закидываешь в контекст (RAG, как написал человек выше).
текстовый файл тут не подойдет. тебе нужен именно векторная база данных, таких куча, можешь погуглить. например у тебя есть 10к документов по 3к символов в каждом, если ты их запишешь все просто текстом в файл, то тебе и нужно будет их давать ВСЕ иишке, что в корне неправильно, для этого придумали векотрные базы, в которые ты записываешь векторное представление от текста, там массив с цифрами. При запросе в эту базу, ты получаешь ТОЛЬКО похожий результат ( не по семантике ) из этого текста и уже эти данные даешь в иишку и просишь ее промптом разьяснить подробнее об эти данных.
текстовик имел ввиду условно для наглядности ) а так за наводочку спасибо, надо бы глянуть
обработка данных прендварительно понадобиться в любом случае. по разделам разбивать ( очень хорошая идея ), но лучше разбивать по парагрфам. так же нужно не забыть, чтобы добавлять метаданные к каждому параграфу, которые косвенно может относиться к нему. задача специфическая, нужно понимать как это все оптимизировать и не наделать лишнего. лишний текст для ии - галюцинация. так же задача может усложиться, если документы кардинально разные по шаблону, иишке порой сложно понять это
да, конечно.обработка данных прендварительно понадобиться в любом случае. по разделам разбивать ( очень хорошая идея ), но лучше разбивать по парагрфам. так же нужно не забыть, чтобы добавлять метаданные к каждому параграфу, которые косвенно может относиться к нему. задача специфическая, нужно понимать как это все оптимизировать и не наделать лишнего. лишний текст для ии - галюцинация. так же задача может усложиться, если документы кардинально разные по шаблону, иишке порой сложно понять это
За деньги - да.
Любая топовая модель, чатгпт, клод, джемини - по апи будет читать твои документы, только дорого.
aws.amazon.com
В телеге есть группа товарищей, у которых реально ноды с H100 стоят дома. Но им разумеется ничего настраивать не надо - уже всё настроено.
То есть взаимоисключающие параграфы выходят - либо не знаешь про модель, либо не надо настраивать.
