Хочу собрать ферму, есть вопросы.

[waahoo]

Приветствую уважаемые. Хотел поинтересоваться у комьюнити, может есть тут криптомиллионеры с фермой. Прошу развеять сомнения.

Хочу проибрести серверное железо, на ксеонах, много ядер, много памяти, все как полагается.
Конструкцию эту хочу использовать помимо повседневного запуска кучи вм esxi например еще для брута всяких штук хешкатом.
Имеется, допустим, конструкция с 4 портами PCI-Ex16, во все 4 эти слота я повтыкаю ну например gtx 3090 с 8gb оперативы на каждой.
Вопросы и мифы:
1. При майнинге ОЗУ ПК должно соответствовать ОЗУ GPU. Так ли это? И в случае использования конструкции под брут хешкатом это актуально?
2. Допустим плата дает 4 слота PCI-E v3, а карта v4. Религия обратной совместимости запустит карту, но сильно ли я потеряю в производительности конкретно под брут?

 

[gliderexpert]

Конструкцию эту хочу использовать помимо повседневного запуска кучи вм esxi например еще для брута всяких штук хешкатом.

Посмотри proxmox - в случае глюков экзи ты ничего не сможешь сделать, а proxmox опенсорс и любая проблема с ним решаема. А глюки 100% будут т.к. тебе нужно физическое gpu прокидывать внутрь контейнера вм.
Удобно что proxmox ставится как "надстройка" над debian, в отличие от экзи. Получается что под брут ты можешь использовать ось напрямую, без виртуализации (запустить хешкат прям на базовой оси) - это немного, но быстрее, т.к. нет лишних прерываний дополнительного менеджера процессов и т.д.

Если ты хочешь суммировать производительности скажем 50 физических gpu, находящихся на разных нодах кластера в один бааальшой vGPU + "просуммировать" ram и прочие ресурсы этих нод - сразу могу сказать, забудь )
Максимум - распараллеливание процессов между виртуалками и миграция этих вм между нодами для выравнивания загрузки кластера.

Имеется, допустим, конструкция с 4 портами PCI-Ex16, во все 4 эти слота я повтыкаю ну например gtx 3090 с 8gb оперативы на каждой.
Вопросы и мифы:
1. При майнинге ОЗУ ПК должно соответствовать ОЗУ GPU. Так ли это? И в случае использования конструкции под брут хешкатом это актуально?

Под брут ram не сильно используется, разве что словари или таблицы у тебя будут лежать в RAM диске. RAM потребуется под виртуалки, это точно.
С брутом другой нюанс -нужно поймать баланс чтобы скорость чтения из словаря - лежащего во внешнем сторадже, не была медленнее чем "потребность" gpu фермы в новых заданиях на расчет. Поэтому внешние стораджи на fibrechannel - не сильно в тему, если бюджет позволяет то лучше infiniband. Опять же какой тип накопителей на дисковых полках будет - тоже вопрос. Имей ввиду что скорость доступа к ssd при сборке их в нулевой рейд - не увеличивается...
Как вариант -разбивать "ферму" на несколько мат.плат в каждой из который свой небольшой локальный сторадж на nvme. Не забывай, что NVME используют pci-e линии, как и видеокарта - обязательно глянь сколько в проце их есть.

2. Допустим плата дает 4 слота PCI-E v3, а карта v4. Религия обратной совместимости запустит карту,

а вот не всегда - hp'шное серверное железо такие приколы точно не сильно любит. Опять же, нужно смотреть сколько физических линий PCIe можно одновременно использовать в этих 4х слотах.

но сильно ли я потеряю в производительности конкретно под брут?

нет - шина слабо загружена. Тебе под брут нужны карты с максимальным числом opencl/cuda ядер.
Поэтому смотри лучше не в сторону 3090, а что-то типа 4090.

 

[waahoo]

а что-то типа 4090

Дорого пздц

Посмотри proxmox - в случае глюков экзи ты ничего не сможешь сделать, а proxmox опенсорс и любая проблема с ним решаема. А глюки 100% будут т.к. тебе нужно физическое gpu прокидывать внутрь контейнера вм.
Удобно что proxmox ставится как "надстройка" над debian, в отличие от экзи. Получается что под брут ты можешь использовать ось напрямую, без виртуализации (запустить хешкат прям на базовой оси) - это немного, но быстрее, т.к. нет лишних прерываний дополнительного менеджера процессов и т.д.

Я не говорил брутить из под esxi, понятно что это пиздец что будет. Esxi - это основное назначение фермы, второстепенное - я хотел навтыкать туда GPU и иногда брутить рары так скажем. За диски, нвме будет порядка 3500 на чтение/запись. У меня вопрос собственно в том, что получится ли сложить мощности 4-х карт в одной системе без всяких там кластеризаций. Вот просто прям дебиан всем рулить будет от корня. По любому кто-то такое собирал

 

[gliderexpert]

Дорого пздц

Ха - очень спорно! Если посчитать по производительности, то количество tflops на условную 1000$ у 4090 пока что самое высокое.
+ жрет почти в 2 раза меньше чем 3090, сэкономишь на БП и электроэнергии.
Покупать ужаренные майнингом 3090 - сомнительная затея, в них память под замену будет почти со 100% вероятностью.

Я не говорил брутить из под esxi, понятно что это пиздец что будет. Esxi - это основное назначение фермы, второстепенное - я хотел навтыкать туда GPU и иногда брутить рары так скажем. За диски, нвме будет порядка 3500 на чтение/запись.

3500 в каких попугаях? Там iops'ы важны, обычно их значения немного по другому выглядят (типа 300 000). Со скоростью доступа (которая в мегабитах измеряется) ничего общего нет.

У меня вопрос собственно в том, что получится ли сложить мощности 4-х карт в одной системе без всяких там кластеризаций. Вот просто прям дебиан всем рулить будет от корня. По любому кто-то такое собирал

А, это вообще без проблем. Оно же через opencl / cuda само суммируется, а в хешкате просто при запуске задаешь количество и номера gpu которые ему разрешено использовать.

 

[gliderexpert]

Написал небольшой гайд по запуску фермы. Правда на Centos, но под Debian думаю что примерно так же будет.
Просто под centos у меня сохранился лог в .bash_history , а на нодах где debian уже все похерилось, давно их запускал, а с центосом машинка относительно свежая.

Итак, гайд.
Ставим чистую операционную систему Centos 7 в варианте Minimal установки без иксов. При установке добавляем пакеты средств отладки и разработки, администрирования системы.
После установки следует поднять соединение с ЛВС через nmtui или вручную правкой конфигов. После получения доступа к машине через SSH, отключаем монитор от встроенной видеокарты, перезагружаем систему и проверяем что доступ к консоли все еще есть. Это важный момент, т.к. после блокировки драйвера nouveau встроенная видеокарта отвалится и кроме как через ssh соединение не будет никакой возможности получить доступ к системе (разве что recovery mode).

Сам процесс установки драйверов CUDA и OpenCL выглядит следующим образом:

yum update
yum install epel-release
yum install https://dl.fedoraproject.org/pub/epel/epel-release-latest-7.noarch.rpm
yum upgrade kernel
yum install kernel-devel-$(uname -r) kernel-headers-$(uname -r)
yum install kernel-devel
yum install kernel-headers
yum install pciutils
yum install dkms
lspci -vvv

////должно показать наличие видеокарт и запущенный драйвер nouveau///

yum install nano

nano /etc/modprobe.d/blacklist-nouveau.conf
////добавить следующий текст///
blacklist nouveau
blacklist lbm-nouveau
options nouveau modeset=0
alias nouveau off
alias lbm-nouveau off
///сохранить и выйти из nano///

grub2-mkconfig -o /boot/grub2/grub.cfg
grub2-mkconfig -o /boot/efi/EFI/centos/grub.cfg

reboot

systemctl isolate multi-user.target
yum install yum-utils
yum-config-manager --add-repo https://developer.download.nvidia.com/compute/cuda/repos/rhel7/x86_64/cuda-rhel7.repo
yum install kmod-nvidia-latest-dkms

reboot

yum install nvidia-driver-latest-dkms
yum install cuda-drivers
yum install clinfo

reboot

nvidia-smi
/*  должен быть примерно такой вывод
+-----------------------------------------------------------------------------+
| NVIDIA-SMI 525.60.13    Driver Version: 525.60.13    CUDA Version: 12.0     |
|-------------------------------+----------------------+----------------------+
| GPU  Name        Persistence-M| Bus-Id        Disp.A | Volatile Uncorr. ECC |
| Fan  Temp  Perf  Pwr:Usage/Cap|         Memory-Usage | GPU-Util  Compute M. |
|                               |                      |               MIG M. |
|===============================+======================+======================|
|   0  NVIDIA P106-100     Off  | 00000000:01:00.0 Off |                  N/A |
|  0%   40C    P0    23W / 120W |      0MiB /  6144MiB |      0%      Default |
|                               |                      |                  N/A |
+-------------------------------+----------------------+----------------------+
|   1  NVIDIA P106-100     Off  | 00000000:02:00.0 Off |                  N/A |
| 19%   34C    P0    23W / 120W |      0MiB /  6144MiB |      0%      Default |
|                               |                      |                  N/A |
+-------------------------------+----------------------+----------------------+
|   2  NVIDIA P106-100     Off  | 00000000:03:00.0 Off |                  N/A |
| 18%   33C    P0    23W / 120W |      0MiB /  6144MiB |      0%      Default |
|                               |                      |                  N/A |
+-------------------------------+----------------------+----------------------+
                                                                               
+-----------------------------------------------------------------------------+
| Processes:                                                                  |
|  GPU   GI   CI        PID   Type   Process name                  GPU Memory |
|        ID   ID                                                   Usage      |
|=============================================================================|
|  No running processes found                                                 |
+-----------------------------------------------------------------------------+


*/

clinfo

//должен показать наличие устройств p106, длинная "простыня" текста. Если что то пошло не так то напишет что то типа "no cl devices found"

Для дебиана, насколько помню - после правки конфига blacklist.conf, нужно было запускать update-initramfs -u

 

[yellow]

Посмотри proxmox - в случае глюков экзи ты ничего не сможешь сделать, а proxmox опенсорс и любая проблема с ним решаема.

В этом моменте совсем не согласен с вами. Сужу строго по своему опыту работы а его было много.
proxmox говнище редкостное. как и любой опенсорс продукт - его поддерживают посредственно - потому как финансирование либо ограничено либо его нет совсем.
proxmox говнище редкостное потому что - вм на винде ведут там себя порой не предсказуемо - так же дела обстоят и с сетью.
Я уже не говорю про то что дрова серверные к примеру под рейд контролеры будут исполнять - регулярно при работе с проксмокс и все это вам фиксить

Проксмокс настолько же хорош по сравнению с ESXi - насколько хороша ReactOS по сравнению с виндой.

ESXi избавлен от всех этих опенсорных болячек. Да вы там ничего там не править, но там нечего и не нужно фиксить.

А вот идея прокиывать в виртуалки GPU для того чтоб что-то прутить - бред конечно. Если вам брутить - то надо брутить а если вам виртуалки - то уже другой сетап - если миксуете и то и то поучается криво
Вообще не понятно на хера вам дружище - ESXi если вы хотите майнить и брутить. Вы хотите совмещать мешающие друг другу вещи. Такое нужно на разные хосты разносить и будет идеально

зы - Xen - может послужить альтернативой ESXi

 

[waahoo]

ESXi если вы хотите майнить и брутить. Вы хотите совмещать мешающие друг другу вещи. Такое нужно на разные хосты разносить и будет идеально

Я вижу применение этой платформы под esxi, куча виртулок не важно под что. Хочу видеть применение этой платформы под единой ОС под бруд хешкатом. Хочу знать камни. Только и всего

 

[yellow]

куча виртулок не важно под что.

несколько странный кейс. обычно важно под что виртуалки.

Хочу знать камни. Только и всего

дак я собственно о них и пишу. накладывая слой виртуализаци - ты добавляешь оверхеда - трятя ресурс производительности в пустую - но это пол беды - там секс обеспечен тебе с настройкой проброса GPU в любой гипервизор

 

[waahoo]

несколько странный кейс. обычно важно под что виртуалки.

дак я собственно о них и пишу. накладывая слой виртуализаци - ты добавляешь оверхеда - трятя ресурс производительности в пустую - но это пол беды - там секс обеспечен тебе с настройкой проброса GPU в любой гипервизор

Обычная жизнь виртуалок это обычная их жизнь, но иногда я хочу остановить всю эту систему (esxi) и запустить дебиан на правах полноправного владельца железа, жирнющего такого железа. Что ему мешает переварить 4 карты? Если есть опыт дай знать.

 

[Dread Pirate Roberts]

Хочу проибрести серверное железо, на ксеонах, много ядер, много памяти, все как полагается.

не надо, серверное железо - это преимущественно технологии позапрошлого поколения десктопа. если нужна мощща - бери десктоп.

 

[Dread Pirate Roberts]

дрова серверные к примеру под рейд контролеры будут исполнять

потому что нужно было брать HBA и поднимать софтовый рейд

А вот идея прокиывать в виртуалки GPU для того чтоб что-то прутить - бред конечно.

тут поддерживаю, у виртуализации жестачайший оверхед, чуть ли не 200%, по крайней мере в KVM и в моих задачах.

 

[gliderexpert]

proxmox говнище редкостное потому что - вм на винде ведут там себя порой не предсказуемо - так же дела обстоят и с сетью.

хз - обычное kvm qemu, норм винда работает и даже САПРы под ней такие как catia и прочее. Про сеть - интересно, если будет время - расскажи пример пожалуйста. Ни разу не наблюдал глюков, если конечно не пытаться заниматься фигней, например поднять на одной из виртуалок программный firewall для всего кластера, заддосив при этом запросами виртуальный свитч...

Я уже не говорю про то что дрова серверные к примеру под рейд контролеры будут исполнять - регулярно при работе с проксмокс и все это вам фиксить

no problems даже с очень старым железом, потому как драйвера рейда к proxmox не относятся. Это же обычная надстройка над debian, соответственно все массивы, которые работают на deb'e (т.е. всё) - работают и в proxmox.

А вот идея прокиывать в виртуалки GPU для того чтоб что-то прутить - бред конечно. Если вам брутить - то надо брутить а если вам виртуалки - то уже другой сетап - если миксуете и то и то поучается криво

Когда собираешь несколько сотен gpu - их приходится раскидывать на ноды кластера с автоматической балансировкой, т.к. простой ресурсов из-за перегруза одной ноды и недогруза другой - сильно менее выгоден чем потери производительности на оверхеде от менеджера процессов kvm/qemu.
Либо писать свой балансировщик ресурсов.
Если машина всего одна и несколько gpu - виртуализация ясен пень не нужна.

не надо, серверное железо - это преимущественно технологии позапрошлого поколения десктопа. если нужна мощща - бери десктоп.

У десктопного железа pci линий очень мало и ничего нормального в плане много_gpu ты не соберешь. Для хорошей производительности брута на GPU - нужны именно серверные процы с большим количеством ядер и pcie линий.

 

[yellow]

серверное железо - это преимущественно технологии позапрошлого поколения десктопа

не правда - все там свежее если покупать сервак нового поколения. но выйдет не дешево

потому как драйвера рейда к proxmox не относятся.

спору нет. но почему то файлы одной виртуаки времянами пишут в файлы другой виртуалки даже в рейд 0. чудеса творяться у хуюледа с паккардом да и у делл

Что ему мешает переварить 4 карты?

а его тебя видно не понял сходу - если у тебя есхи и дебиан на разных винтах - то нет проблем вообще

с большим количеством ядер и pcie линий.

...и неплохой подсистемой питания. привет моим спаленым от разгона материнкам.

kvm qemu, норм винда работает и даже САПРы под ней такие как catia и прочее.

ты говоришь про что она там нормально запускается. Оно там нармально запускается - но на этом и все.
многие говорят что мол у вас не работает проксмокс тк вы не умеете его готовить - бред - если его нужно дописать перед тем как в продакшен ставить - то нах он нужен вообще.
винда работает дерьмого 100%, когда у вас пачка виртуалок, в отличиее от есхи - рандомно пропадает сетевая связность,
контролер домена переодически уходит афк при прилете обновлений. Каждый вторник патчей вызывает чуть ли не зубную боль

 

[r3dix0r]

Объективно говоря,у меня на моей 3070 словарь на 20+ гигов проходится хешкетом за примерно 35-40 минут. Во первых ты можешь выбрать девайсы для использования,что убирает необходимость брать серверное железо. На вторичке коробки на ддр3 и 6 ядерных зеонов стоят ультра дорого.
Для карт отлично подойдет b75 btc (искать на алике) Мат.плата для подключения 8и карт через райзер.
1. При майнинге ОЗУ ПК должно соответствовать ОЗУ GPU. Так ли это? - Ответ: Нет,у меня стоял один риг на 4 гига ддр 2 и 6 карт все отлично работало.
2.PCI v3 v4 - ответ прост,большинство ферм работает на райзерах что уже ограничивает пропускную способность. Даже для игровых тачек не так интересно,прирост в игрушках 8-15% но не забывай что в зависимости от алгоритма монеты (для майнинга) нагрузка идет либо на GCPU либо GRAM (Процессор Видеокарты и память видеокарты соответственно)

Хотелось бы добавить что рынок сейчас очень странный,карты выходят еле еле на доход (Если электричка не фри)
Как минимум после ухода ETH на POS нету адекватной монеты для замены. Сейчас ферма обойдется в круглую сумму,если на эти деньги покупать крипту по стратегии DCA будет больше и проще.

И по поводу китайского железа,мать+проц+память = 150 баксов и получишь 12/24 зеон на ддр4 хоть и на ссаной доске,если допилить типо активки на чипсет и фазы или взять сразу адекватную доску за 200-250$ получится норм сервак. Сам собирал за 13 тысяч для экспиремента на китайском ките для простых задач ботоводство,zabbix,файло помойка и все такое. Желаю удачи.

 

[gliderexpert]

спору нет. но почему то файлы одной виртуаки времянами пишут в файлы другой виртуалки даже в рейд 0. чудеса творяться у хуюледа с паккардом да и у делл

Такое может быть только в том случае если виртуалки находятся в lxc контейнере + полностью убит apparmor (или неправильно сконфигурирован). Для контейнеров kvm данное явление полностью исключено, и драйвера рейда тут совершенно не при чем. Это ошибка при настройке proxmox'а, смотри файлы /etc/pve/lxc/*.conf на предмет как там включен apparmor ...

Многоие говорят что мол у вас не работает проксмокс тк вы не умеете его готовить

+100

 

[patrick12]

Бро а разве с фермы еще есть выхлоп? Тема мертвая...

 

[waahoo]

Бро а разве с фермы еще есть выхлоп? Тема мертвая...

Ферма не совсем для майнинга, мне он вообще не интересен к слову. Просто сама по себе платформа подходящая. Нужен агрегат для быстрого слома NTLM или по желанию запуск ESXi с десятком другим ВМ под АВ тесты например.

 

[Dread Pirate Roberts]

не правда - все там свежее если покупать сервак нового поколения. но выйдет не дешево

ну если совсем свежее, то да. сейчас проверил - деллы 15го поколения используют процессоры интел Rocket Lake (11ххх), то есть не позапрошлое поколение десктопа, а всего-лишь прошлое. я (да и почти все датацентры) использую 14ое поколение, а это Coffee Lake (9xxx), поза-поза-прошлое.

 

[lordreplikon]

Посмотри proxmox - в случае глюков экзи ты ничего не сможешь сделать, а proxmox опенсорс и любая проблема с ним решаема. А глюки 100% будут т.к. тебе нужно физическое gpu прокидывать внутрь контейнера вм.
Удобно что proxmox ставится как "надстройка" над debian, в отличие от экзи. Получается что под брут ты можешь использовать ось напрямую, без виртуализации (запустить хешкат прям на базовой оси) - это немного, но быстрее, т.к. нет лишних прерываний дополнительного менеджера процессов и т.д.

Если ты хочешь суммировать производительности скажем 50 физических gpu, находящихся на разных нодах кластера в один бааальшой vGPU + "просуммировать" ram и прочие ресурсы этих нод - сразу могу сказать, забудь )
Максимум - распараллеливание процессов между виртуалками и миграция этих вм между нодами для выравнивания загрузки кластера.



Под брут ram не сильно используется, разве что словари или таблицы у тебя будут лежать в RAM диске. RAM потребуется под виртуалки, это точно.
С брутом другой нюанс -нужно поймать баланс чтобы скорость чтения из словаря - лежащего во внешнем сторадже, не была медленнее чем "потребность" gpu фермы в новых заданиях на расчет. Поэтому внешние стораджи на fibrechannel - не сильно в тему, если бюджет позволяет то лучше infiniband. Опять же какой тип накопителей на дисковых полках будет - тоже вопрос. Имей ввиду что скорость доступа к ssd при сборке их в нулевой рейд - не увеличивается...
Как вариант -разбивать "ферму" на несколько мат.плат в каждой из который свой небольшой локальный сторадж на nvme. Не забывай, что NVME используют pci-e линии, как и видеокарта - обязательно глянь сколько в проце их есть.



а вот не всегда - hp'шное серверное железо такие приколы точно не сильно любит. Опять же, нужно смотреть сколько физических линий PCIe можно одновременно использовать в этих 4х слотах.



нет - шина слабо загружена. Тебе под брут нужны карты с максимальным числом opencl/cuda ядер.
Поэтому смотри лучше не в сторону 3090, а что-то типа 4090.

А какие карточки актуально купить под брут в данный момент, если не рассматривать самый то вроде 4090 а глянуть чуть ниже (например 4080 - 70 и тд)?

 

[gliderexpert]

А какие карточки актуально купить под брут в данный момент, если не рассматривать самый то вроде 4090 а глянуть чуть ниже (например 4080 - 70 и тд)?

По соотношению цена/количество ядер, круче чем 4090 ничего нет. Выгодней взять 1шт 4090 чем несколько более слабых карт.