это не гопота ВСЁ, а кожаные мешки
Не получится. Не думаю что у кого либо 512гб озу или 10x3090 в домашнем компе стоит
есть такая штука: https://github.com/exo-explore/exo - распределённый запуск одной модели на нескольких компах.Не получится. Не думаю что у кого либо 512гб озу или 10x3090 в домашнем компе стоит
dedicated или чтобы заебались дамп снимать?)
Оо какая материнка? Проц? Гпу? С водяным охлаждением? Сколько постоянной и ram памяти(на какой частоте? серверная или обычная?) Тоже хочу себе суперкомпьютер собрать на фреоновом охладе, и купить raid массив hdd на 100 терабайт, чтобы во время работы не было технических ограничений типо "не хватает памяти/производительности, все лагает" т.к компьюетры сфера и так сложная, а тут еще все тормозит, кто то мешает и еще какие то проблемы из real life
Там же чёрным по белому написано, что есть "дистиллированная" модель на 8б. Всё получится.Не получится. Не думаю что у кого либо 512гб озу или 10x3090 в домашнем компе стоит
Ты про успешный успех? Это странный подход - плакать, колоться, но продолжать жрать чат-гопоты, потому что он "успешный". Если Клод выдаёт ответ лучше (а это почти всегда так), то я буду пользоваться именно им.
Да ты что, реально?
Ты бы свою архитектуру или хотя бы ллм-ку намутил бы, такой образованный. У меня нету лишнего триллиона долларов и команды из 10к ученых и разработчиков. Chatgpt как будто больше human like ответы дает, а у других моделей они более абстрактные, и в них как будто меньше "человеческой" логики. А вообще мне тема ai очень интересна, я очень жду какой нибудь сингулярности когда ии подключит нас всех исскуственному раю и будет делать всю работу (ну или убьет всех)Да ты что, реально?
да и в теме таблица ооже есть и будто бы тс ее и не смотрел даже кликбейт да и толькоЗачем слова, когда есть соревновательная таблица лидеров? И по ней ChatGPT проигрывает в некоторых областях, в том числе в общении на русском и в кодинге.
Ты про успешный успех? Это странный подход - плакать, колоться, но продолжать жрать чат-гопоты, потому что он "успешный". Если Клод выдаёт ответ лучше (а это почти всегда так), то я буду пользоваться именно им.
Да ты что, реально?
Видел, но это больше под работу с мак системами заточено, если несколько макбуков / 16 мак мини / либо мак студио м2 192гб завалялось пару штук то норм, распределять между компами можно уже давно (даже по интернету )
Нет, все идет к тому что тренировать будут под каждую задачу отдельный ллм, с упором в качество данных / алгоритмов тренировки, а чатгпт это как большая быстрая библиотека
Так весь хайп сейчас насчет 405б, очевидно что я про нее
Мне интересно стало как ты ллм используешь с какими вопросами и языком, можешь рассказать
Ну если коротко - когда у меня возникает проблема, и я использую chatgpt, то обычно решаю ее за 1 минуту с помощью 1-3 запросов
Так тесты об обратном говорят)
cherryservers.com ~ with GPU, Tensor, 512 GB of ram about 900 - 1000 $ / month.
