да, оказалось всё очень интересно: нужно сделать несколько настроек биоса и оси, и напрямую указывать лламе, что нужно использовать NUMA.
всё, я теперь prompt engineer и vibe coder, зовите меня в свои AI стартапы
не пользовался, не знаю. возможно, там уже встроены все оптимальные настройки для каждой модели и я зря трачу время с лламой.цпп
попробуй сам, отпиши в топике.имхо затраты на вебсервер и прочее пренебрежимо малы.
об этом чуть позже
до обучения я ещё не добрался, как начну в этом разбираться - буду писать здесь о своих похождениях. а теперь про чуть позже: я решил рискнуть и параллельноимпортировать китайского франкенштейна за 4 килобакса, собранного из платы 3090 и чипа 4090: https :// www.youtube.com/watch?v=m9YszWQenIIНасколько вообще llama.cpp и формат GGUF гибкие, если смотреть дальше простого инференса? Видеться ли тебе какие-то адекватные пути для дообучения в этой экосистеме? А бабы то голые нужны только с большим бюстом, а не с маленьким и/или средним
не совершай мою ошибку и не собирай систему на восьми каналах DDR4, копи на EPYC4/5 c двенадцатью каналами DDR5.
ЮНИТИ УЛЬТРАХАРДКОР МЫТИЩИ!!!
я не знаю точно, как это делается, но вроде бы у 3090 и 4090 распиновка чипа совпадает.
Само существование LLM нарушает все правила "конфиденциальности информации" это априори де-факто. ИИ нарушил все правила GDPR. Поэтому когда идет речь о работе с LLM и конфиденциальности это две несовместимые вещи. А вот про анонимность ну такое себе, ну скроешь ты свой хост, ты как человек будешь использовать одни и теже паттерны. Поменяешь хост начнешь опять разговор, по патернам ИИ поймет, что это опять ты! Поэтому LLM и анонимность тоже несовместимая вещь "частично". Будешь у ней числится как APT1338. Которая меняет хосты и палится по одним и тем же паттернам. Чтобы анонимно общатся с LLM нужно менять паттерны каждый раз при новой сессии.
Даже скрин промпт\джайла уже деанон.
Я бы с радостью, но тратить каждому 5к$ чтобы захостить нормальную большую модель дома - невыгодно, это как стоить завод ради пары единиц товара. А маленькими моделями смысла пользоваться нет, т.к даже топовые claude 3.7 и chatgpt 4 - часто "тупые", а про маленькие free модели на домашнем компухтере вообще молчу
Тогда только менять хосты и ничего не говорить такого важного LLM а еще лучше не говорить какой она проект делает. И делать проект желательно не за одну сессию, а частями и с разной постановкой задачи, чтобы было не понятно что этот один и тот же человек задает вопросы. Для тех кто в танке можно за одну сессию делать "проект" не меняя патттерны общения с нейронкой. Ну ты и так всё прекрасно понимаешь.
все кто прошёл стадию тестирования за api хотят денег, с платной api она уже не будет анонимной,
main-horse.github.io
да, я ошибся с этим методом - карта не от 3090, а используется кастомная PCB, на которую перепаивается чип c оригинальной 4090. возможно китайцы взяли PCB 3090 в качестве образца и на её основе создали свою.
у первого поколения были какие-то проблемы с энергопотреблением, моя версия жрёт 20 в простое и nvidia-smi сообщает о 450W (и дофига умная розетка подтверждает), но это не самая последняя версия, есть более новые модификации, в которых, возможно, исправлены другие проблемы - с орущим кулером и с кривыми датчиками температуры (или кривой прошивкой?). возможно, первая проблема происходит из второй.
подтверждаю, кулер начинает орать очень рано, и орёт очень громко. кулер шумит примерно как фен для волос - громкий, но не раздражаюший шум, не сравнить с мерзким визгом 10-20k rpm кулеров в одноюнитовых серверах.
4090D на 11% медленнее, но на 26% дешевле. надо четыре таких видюхи, чтобы результат был заметен. возможно, куплю ещё 4090D для тестов.
