Предложение по совместной аренде VPS для приватного LLM

[N0deNull]

Привет всем,
У меня есть технический план и опыт по развертыванию приватного высокопроизводительного сервера с крупной языковой моделью (LLM) для личного использования, в основном для программирования, исследований и работы с проектами среднего размера (полностью подходит для работы по тематике форума). Я ищу соарендатора, который сможет полностью оплатить VPS (примерно $1,500–$3,000 в месяц).

Идея:

• Я полностью настраиваю, администрирую и поддерживаю сервер, решаю ошибки, обновления и обслуживание. Технических навыков от вас не требуется.
• Сервер будет использоваться только двумя людьми, вами и мной, исключительно для личного пользования.
• Мы получим доступ к LLM с большим контекстом (например, Llama 3 70B Instruct Q4_K, возможно CodeLlama или Mixtral) с контекстом 32k+ токенов и возможностью длинного вывода.
• Ожидаемая конфигурация: 1–2 × A100 80GB GPU, 256–512GB RAM, NVMe диск, быстрый интернет, что позволит комфортно работать с кодом, исследовать и обрабатывать крупные проекты.

Выгоды для нас обоих:

• Приватность: нет корпоративных серверов, полный контроль.
• Неограниченное использование в пределах возможностей железа: большой контекст, большая память, длинный вывод.
• Никакой технической работы с вашей стороны; я полностью занимаюсь настройкой, поддержкой и решением любых проблем.

Если вы готовы оплачивать VPS, я полностью возьму на себя техническую сторону и обеспечу эффективную работу для нас обоих. Это личная, некоммерческая конфигурация.


С уважением, N0deNull

Первый контакт в ПМ

 

[SONY]

Мы получим доступ к LLM с большим контекстом (например, Llama 3 70B Instruct Q4_K, возможно CodeLlama или Mixtral) с контекстом 32k+ токенов и возможностью длинного вывода.

Ну допустим. А что мы с этим делать будем?