Здравствуйте, может быть кто сталкивался, хочу собрать Ферму на базе 4090 карт, что бы риг состоял из 4х карт под Hashcat. Хотелось бы собрать производительный риг который будет способен работать без перебоев. Бюджет помимо карт примерно 150-200к, буду рад услышать ваши рекомендации, так как в сети не особо много подобной информации.
-
XSS.stack #1 – первый литературный журнал от юзеров форума
Создание фермы на 4090
- Автор темы ServerGPU
- Дата начала
Раскажу свой нищебродский конфиг, вроде пока хватает для моих целей.
2 кВт блок питания, julongfengbao например
4090 в пике жрут до 460 ватт, через nvidia-smi ставить power limit в 380-400 ватт (разница в производительности мизер).
Мат плату и проц по низу рынка, что-то типа какого-нить старенького i5 хватит.
Оперативки 16гб ставил. Стандартные словари максимум что видел едят до 6гб.
(проц можно мощнее, если нужны нестандартные хэши или что-то процессорозависимое)
hashcat сам по себе будет работать норм, пробовал разный софт ставить для очереди задач - везде гемор.
hashtopolis запускает тот же hashcat с ключами на лимит и старт - из-за этого дичайше проседает скорость. Пробовал на мощном процессоре - тоже не дало результатов. Толи в самом hashcat проблема, толи упирается в шину или еще куда, толи я не так что-то делаю. Короче hashtopolis у меня не заработал на нормальной скорости.
В итоге использую или чистый hashcat или hashview (кривоват и глючноват, но можно допилить до удобного состояния).
2 кВт блок питания, julongfengbao например
4090 в пике жрут до 460 ватт, через nvidia-smi ставить power limit в 380-400 ватт (разница в производительности мизер).
Мат плату и проц по низу рынка, что-то типа какого-нить старенького i5 хватит.
Оперативки 16гб ставил. Стандартные словари максимум что видел едят до 6гб.
(проц можно мощнее, если нужны нестандартные хэши или что-то процессорозависимое)
hashcat сам по себе будет работать норм, пробовал разный софт ставить для очереди задач - везде гемор.
hashtopolis запускает тот же hashcat с ключами на лимит и старт - из-за этого дичайше проседает скорость. Пробовал на мощном процессоре - тоже не дало результатов. Толи в самом hashcat проблема, толи упирается в шину или еще куда, толи я не так что-то делаю. Короче hashtopolis у меня не заработал на нормальной скорости.
В итоге использую или чистый hashcat или hashview (кривоват и глючноват, но можно допилить до удобного состояния).
Из софта еще crackerjack можно посмотреть. Красиво-удобно, но нет очереди и не развивается проект.
Главное не покупайте под 4090 майнинговые материнки серии btc250c - проверено, глючат-зависают.
Идея вывести 12 PCIe линий в виде запаянных на плату USB3.0 разъемов - очень красивая и удобная. Но... то ли биос кривой, то ли еще что- виснет наглухо каждые несколько часов работы.
Идея вывести 12 PCIe линий в виде запаянных на плату USB3.0 разъемов - очень красивая и удобная. Но... то ли биос кривой, то ли еще что- виснет наглухо каждые несколько часов работы.
Может от райзеров как-то тоже зависит? У меня именно одна такая материнка с 4090 работает без нареканий.
Но в целом да, если есть финансы лучше взять что-то нормальное. Эти прямо китай-китай в худшем его проявлении.
А проц какой? У меня был i7-6700K . Есть мнение что на i5 не виснут, типа i7 ставить нельзя...
ОС на момент экспериментов Debian 11.
Я как радиоинженер - на идею usb разъемов купился - это очень круто, 1 соединением меньше, а значит надежней, меньше рассогласования диф.линии pci на переходах витая пара-разъем и так далее. Да и биос там интересный, настроек масса.
Жалко что подобных вариантов нет у нормальных брендов.
i3-7100, ubuntu 22.04
Полез посмотреть что вообще в мире есть, наткнулся на ASUS B250 MINING EXPERT
Сразу 3 ATX коннектора в материнке, свои группы pci-e на каждый блок питания, только не usb, а обычные pci-e x 1
Жаль не наткнулся в свое время, интересно пощупать.
Мне только канитель с райзерами не нравится - куча ревизий, очень непонятное качество. Это сейчас уже можно найти инфу что как работает, а когда был бум майнинга там чуть ли не каждый месяц что-то новое выкатывали китайцы.
- Автор темы
- Добавить закладку
- #8
Не хочу брать майнинговые решения, ибо знаю как плохо они работают, хотелось бы наименования нормальных решений, а именно мат платы и оптимальный проц под нее, буду благодарен вам, а может даже отблагодарю чем смогу 
А если взять что-то такое, норм будет работать?
А если взять что-то такое, норм будет работать?
Начнем с вопроса целесообразности и задачи - если ломать алгоритмы чисто на GPU, то зачем столько ядер и памяти? Тем более всего на 4 карты. Тут вам надо самому взять одну карту и погонять тесты на ваших алгоритмах, нужны ли им память и процессор.
Второе - не нравятся майнинговые решения, но по ссылке б/у компоненты? Я бы поспорил что тут лучше) Понятно что серверная материнка и рассчитана на долгую работу, но она уже и отработала несколько лет 24/7.
Вариант очень понравился тем, что у этого процессора 128 PCIe линий, то есть можно запустить в теории 128/16 = 8 (по факту наверно 6) карт без снижения производительности шины. В целом направление использовать серверное железо/процы - правильное.
Xeon'ы, EPYC и т.п.
Тут основной вопрос в "ширине" pcie шины. Бытовые процы имеют маленькое количество PCIe линий. Например даже топовый amd 7950х - всего 24 линии, это значит даже 2 видеокарты в режиме x16 на нем не запустить.
- Автор темы
- Добавить закладку
- #11
Хотелось бы использовать видеокарты без занижения их мощности просто, а так не совсем понимаю какое железо для этого годится, вот то что увидел кинул 
сколько вышел по деньгам такой конфиг?
а ты не рассматривал вместо видео карт , fpga(плис платы)? Или не хочется морочиться с этим делом? Gliderexpert писал про них, было интересно. И как я понял они намного производительнее
В рублях, цены год+ назад
Корпус под ферму 1600
Мать 4600
Райзеры 4шт 1000
Память 1300
SSD под систему 2500
Проц + вентилятор 6500
Блок питания 5000
Итого 22500 руб. Ну и добиваете 4090 или что нравится по вкусу)
Можно я отвечу?) Из реального что удалось найти в инете - это статья 2020 года, когда энтузиасты запилили в JohnTheRipper поддержку одной из плат fpga. После этой статьи не удается найти ничего толкового, как и поддерживаемого железа.
На форуме hashcat пишут что в текущих реалиях это очень дорого, геморройно и не дает гибкости.
Видеокарту купил в магазине, воткнул в комп, указал ключик и бруть любой алгоритм.
FPGA охерей сначала найти и купить, получи лицензию на работу с оной, потом еще под каждый алгоритм надо писать свою реализацию для FPGA, потому что оной скорее всего в природе просто не существует.
Похоже вот эта статья https://www.techsolvency.com/passwords/ztex/
Вообще, если выйти из интернета в реальным мир - в РФ есть как минимум 2 НИИ которые занимаются только выпуском суперкомпьютеров на плис для ломания паролей. Бедняги, надо им сказать что 4090 гибче и дешевле ))
Единственное что смущает лично меня, так это скорее лицензия, в рф на всем известной площадке я нашёл https://www.avito.ru/moskva/tovary_...m_medium=item_page_ios&utm_source=soc_sharing макет) но возможно это и совсем не то, но цена в 20к не прям огромная
Нии ведь не продадут готовый супер компьютер)))) а всем хочется чтобы включил и все работало и ломало из коробки)) я даже где то видео, что ты писал что у тебя есть наработки по fpga) нет желания ,или времени сделать статью?)
В реальном мире бывал в НИИ и принимал участие в ОКР, правда по микроконтроллерам, а не плис. В интернетах платят больше, пока тут посижу)
Я вот-прям-щас запускаю в консоли условный
и иду пить кофе. Сколько уйдет времени чтобы запустить это на плис? А оно точно будет быстрее молотить, чем 28Gh на одной 4090?
Но я не спорю что плис будет сильно быстрее для какой-то специфической задачи. А уж если на уровне железа алгоритм зашить, как в асиках, то вообще конфетка..
Я бы даже рассмотрел возможность приобретения продукции такого НИИ для работы с bcrypt, например. Про Argon 2ID13 еще говорят, пока не сталкивался.
Последнее редактирование:
Никаких лицензий не нужно, софт есть крякнутый. ISE или Vivado.
Не то. Скорее VCU1525 и подобные платы.
Было
https://xss.pro/threads/83624/ - Ускорение криптоанализа при помощи вычислительных систем на ПЛИС
https://xss.pro/threads/87632 - FPGA для начинающих
Зависит от наличия предварительных наработок. Если заранее написаны все расчетные модули и скомпилированы битстримы для ПЛИС, то запуск выполняется точно так же одной командой.
Можно смоделировать используя встроенный в ISE симулятор. Вообще, чтобы "попробовать" плис покупать ничего не надо - ставите xilinx ise и играетесь используя симулятор.
Именно так и делается - под каждую задачу отдельный битстрим-файл a.k.a. "конфигурация логики". Получаем для каждого алгоритма - узкоспециализированную конфигурацию вычислителя, как у асика. Перед началом расчетов эта конфигурация загружается в ПЛИСы, что занимает некоторое время, обычно несколько минут.