• XSS.stack #1 – первый литературный журнал от юзеров форума

ollama какую модель выбрать?

Отслеживать
celty

celty

психические расстройства
Забанен
Регистрация
12.04.2023
Сообщения
1 300
Реакции
869
Гарант сделки
1
Пожалуйста, обратите внимание, что пользователь заблокирован
Какую модель выбрать? На что обратить внимания?

Все же лучше которая весит больше или все же лучше которая новее типо по версий?
В какой больше информаций и считается новей?

1737708080293.png
 
Parameters and Size are deeply linked, and usually you should focus on those: the bigger the better (make sure the Size fits in your RAM), and then chech for any specialized training, such as Code llama, trained on code, etc. Usually, models have some version number, also, the bigger probably the more accurate.
 
Пожалуйста, обратите внимание, что пользователь заблокирован
redeyesblackdr сказал(а):
Parameters and Size are deeply linked, and usually you should focus on those: the bigger the better (make sure the Size fits in your RAM), and then chech for any specialized training, such as Code llama, trained on code, etc. Usually, models have some version number, also, the bigger probably the more accurate.
ну вот я хочу скачать модель на 243 гига, мне озу нужно на 243 гига или места на диске?
 
Для технических и математических задач лучшая модель - DeepSeek R1 с 671B параметров. По тестам модель стоит рядом с o1 от OpenAI и так же поддерживает функцию размышления. Но требования к железу высокие, поэтому можно выбрать младшую версию на 70B или 32B

Требования к железу можно посмотреть здесь
 
_lain сказал(а):
ну вот я хочу скачать модель на 243 гига, мне озу нужно на 243 гига или места на диске?
Llama 3.3 70b которая норм, для тестов хватит и мистраля
243Гига РАМа тебе не надо ))
 
Пожалуйста, обратите внимание, что пользователь заблокирован
Exited3n сказал(а):
243Гига РАМа тебе не надо ))
почему не надо?

BigBug сказал(а):
Для технических и математических задач лучшая модель - DeepSeek R1 с 671B параметров. По тестам модель стоит рядом с o1 от OpenAI и так же поддерживает функцию размышления. Но требования к железу высокие, поэтому можно выбрать младшую версию на 70B или 32B

Требования к железу можно посмотреть здесь
Ну судя по железу смогу потянуть только
DeepSeek-R1-Distill-Qwen-32B
 
redeyesblackdr сказал(а):
There is probably a way to use it whith less RAM, which would be to have a huge SWAP on disk, but that would probably be too slow. Maybe with an nvme would be fast enough idk. Anyway, you should probably stick to the models that your RAM can handle
Putting the S, S, D back in suicides, i see ;-)
 
Пожалуйста, обратите внимание, что пользователь заблокирован
_lain сказал(а):
Ну судя по железу смогу потянуть только
DeepSeek-R1-Distill-Qwen-32B
получается уже приобрел 4090? :Д
 
Пожалуйста, обратите внимание, что пользователь заблокирован
Пожалуйста, обратите внимание, что пользователь заблокирован
weaver сказал(а):

deepseek-r1

DeepSeek's first generation reasoning models with comparable performance to OpenAI-o1.
ollama.com
Я попробовал, не ожидал что цензура в самой моделе, я думал она в ином виде выглядела
 
Пожалуйста, обратите внимание, что пользователь заблокирован
_lain сказал(а):
Я попробовал, не ожидал что цензура в самой моделе, я думал она в ином виде выглядела
В DeepSeek да в самой модели есть ограничения. Там политика итд. Но для кодинга она вроде как очень даже хороша.
 
weaver сказал(а):
В DeepSeek да в самой модели есть ограничения. Там политика итд. Но для кодинга она вроде как очень даже хороша.
1738053254189.png
 
Пожалуйста, обратите внимание, что пользователь заблокирован
dunkel я ей не пользовался, читал, что там жеские ограничения на политоту.

На другие вопросы так же отвечает? Если сменить раскладку?

Вот уж не думал, что сменив раскладку... она будет отвечать. Но возможно в самой языковой модели просто ограничения по гео, типа в нашей стране наши граждане будут задавать такие-то вопросы, мы их будем браковать, а то что нейронка вышла в свет и распространяется в среди другого населения, мы им покажем, на сколько умная наша нейросеть...
 
weaver сказал(а):
Первую очень нахваливают и она превзошла GPT
https://ollama.com/library/deepseek-r1
Вторая отвечает на все вопросы без джаилбрейков
https://ollama.com/library/command-r
https://ollama.com/library/command-r7b
https://ollama.com/library/command-r-plus

Первую не юзал, а вот второй пользуюсь... По крайне мере для меня Command-R лучше, чем GPT или Gemini
Is there a site/repo that maintains a mapping of models and their minimal compute hardware requirement to run at a sane token/s rate?
What cluster of GPUs would I need to get to run the mega model?
 
weaver сказал(а):
dunkel я ей не пользовался, читал, что там жеские ограничения на политоту.

На другие вопросы так же отвечает? Если сменить раскладку?

Вот уж не думал, что сменив раскладку... она будет отвечать. Но возможно в самой языковой модели просто ограничения по гео, типа в нашей стране наши граждане будут задавать такие-то вопросы, мы их будем браковать, а то что нейронка вышла в свет и распространяется в среди другого населения, мы им покажем, на сколько умная наша нейросеть...
Не всегда, но цензура слабее на других языках, возможно если спросить на каком нибудь аля-улюйском ее вообще не будет.
Еще R1 которая "думает" поясняет на ред тимерские вопросы будь здоров
1738069267328.png

1738070139016.png
 

Вложения

  • 1738070119931.png
    1738070119931.png
    22.8 КБ · Просмотры: 15
Вот у deepseek r1 671 миллиардов параметров и она на равне с chatgpt 4o у которой почти 2 триллиона, тоесть подходы и решения которые там юзаются успешны и работают. Интересно что будет если ее масштабировать до 1 квадриллиона или больше и почему все еще не бросились этим заниматься. Добавить возможность регаться на форумах и в соц сетях при обучении, механизм рефлексии и возможность модели изменять себя и окружение, и может где то дальше на секстилионах получим настойщий AGI который уничтожит мир
 
admin


Напишите ответ...
  • Вставить:
Прикрепить файлы
Верх