• XSS.stack #1 – первый литературный журнал от юзеров форума

Создание фермы на 4090

ServerGPU

CD-диск
Пользователь
Регистрация
21.06.2022
Сообщения
11
Реакции
1
Здравствуйте, может быть кто сталкивался, хочу собрать Ферму на базе 4090 карт, что бы риг состоял из 4х карт под Hashcat. Хотелось бы собрать производительный риг который будет способен работать без перебоев. Бюджет помимо карт примерно 150-200к, буду рад услышать ваши рекомендации, так как в сети не особо много подобной информации.
 
Раскажу свой нищебродский конфиг, вроде пока хватает для моих целей.
2 кВт блок питания, julongfengbao например
4090 в пике жрут до 460 ватт, через nvidia-smi ставить power limit в 380-400 ватт (разница в производительности мизер).
Мат плату и проц по низу рынка, что-то типа какого-нить старенького i5 хватит.
Оперативки 16гб ставил. Стандартные словари максимум что видел едят до 6гб.
(проц можно мощнее, если нужны нестандартные хэши или что-то процессорозависимое)

hashcat сам по себе будет работать норм, пробовал разный софт ставить для очереди задач - везде гемор.
hashtopolis запускает тот же hashcat с ключами на лимит и старт - из-за этого дичайше проседает скорость. Пробовал на мощном процессоре - тоже не дало результатов. Толи в самом hashcat проблема, толи упирается в шину или еще куда, толи я не так что-то делаю. Короче hashtopolis у меня не заработал на нормальной скорости.
В итоге использую или чистый hashcat или hashview (кривоват и глючноват, но можно допилить до удобного состояния).
 
Пожалуйста, обратите внимание, что пользователь заблокирован
Главное не покупайте под 4090 майнинговые материнки серии btc250c - проверено, глючат-зависают.
btc.png

Идея вывести 12 PCIe линий в виде запаянных на плату USB3.0 разъемов - очень красивая и удобная. Но... то ли биос кривой, то ли еще что- виснет наглухо каждые несколько часов работы.
 
Главное не покупайте под 4090 майнинговые материнки серии btc250c - проверено, глючат-зависают.
Может от райзеров как-то тоже зависит? У меня именно одна такая материнка с 4090 работает без нареканий.
Но в целом да, если есть финансы лучше взять что-то нормальное. Эти прямо китай-китай в худшем его проявлении.
 
Пожалуйста, обратите внимание, что пользователь заблокирован
Может от райзеров как-то тоже зависит? У меня именно одна такая материнка с 4090 работает без нареканий.

А проц какой? У меня был i7-6700K . Есть мнение что на i5 не виснут, типа i7 ставить нельзя...
ОС на момент экспериментов Debian 11.

Но в целом да, если есть финансы лучше взять что-то нормальное. Эти прямо китай-китай в худшем его проявлении.
Я как радиоинженер - на идею usb разъемов купился - это очень круто, 1 соединением меньше, а значит надежней, меньше рассогласования диф.линии pci на переходах витая пара-разъем и так далее. Да и биос там интересный, настроек масса.
Жалко что подобных вариантов нет у нормальных брендов.
 
А проц какой? У меня был i7-6700K . Есть мнение что на i5 не виснут, типа i7 ставить нельзя...
ОС на момент экспериментов Debian 11.
i3-7100, ubuntu 22.04

Полез посмотреть что вообще в мире есть, наткнулся на ASUS B250 MINING EXPERT
Сразу 3 ATX коннектора в материнке, свои группы pci-e на каждый блок питания, только не usb, а обычные pci-e x 1
Жаль не наткнулся в свое время, интересно пощупать.

Я как радиоинженер - на идею usb разъемов купился - это очень круто, 1 соединением меньше, а значит надежней, меньше рассогласования диф.линии pci на переходах витая пара-разъем и так далее.
Мне только канитель с райзерами не нравится - куча ревизий, очень непонятное качество. Это сейчас уже можно найти инфу что как работает, а когда был бум майнинга там чуть ли не каждый месяц что-то новое выкатывали китайцы.
 
Не хочу брать майнинговые решения, ибо знаю как плохо они работают, хотелось бы наименования нормальных решений, а именно мат платы и оптимальный проц под нее, буду благодарен вам, а может даже отблагодарю чем смогу 😊

А если взять что-то такое, норм будет работать?
 
А если взять что-то такое, норм будет работать?
Начнем с вопроса целесообразности и задачи - если ломать алгоритмы чисто на GPU, то зачем столько ядер и памяти? Тем более всего на 4 карты. Тут вам надо самому взять одну карту и погонять тесты на ваших алгоритмах, нужны ли им память и процессор.
Второе - не нравятся майнинговые решения, но по ссылке б/у компоненты? Я бы поспорил что тут лучше) Понятно что серверная материнка и рассчитана на долгую работу, но она уже и отработала несколько лет 24/7.
 
Пожалуйста, обратите внимание, что пользователь заблокирован
А если взять что-то такое, норм будет работать?

Вариант очень понравился тем, что у этого процессора 128 PCIe линий, то есть можно запустить в теории 128/16 = 8 (по факту наверно 6) карт без снижения производительности шины. В целом направление использовать серверное железо/процы - правильное.
Xeon'ы, EPYC и т.п.

Начнем с вопроса целесообразности и задачи - если ломать алгоритмы чисто на GPU, то зачем столько ядер и памяти?

Тут основной вопрос в "ширине" pcie шины. Бытовые процы имеют маленькое количество PCIe линий. Например даже топовый amd 7950х - всего 24 линии, это значит даже 2 видеокарты в режиме x16 на нем не запустить.
 
Хотелось бы использовать видеокарты без занижения их мощности просто, а так не совсем понимаю какое железо для этого годится, вот то что увидел кинул :D
 
Раскажу свой нищебродский конфиг, вроде пока хватает для моих целей.
2 кВт блок питания, julongfengbao например
4090 в пике жрут до 460 ватт, через nvidia-smi ставить power limit в 380-400 ватт (разница в производительности мизер).
Мат плату и проц по низу рынка, что-то типа какого-нить старенького i5 хватит.
Оперативки 16гб ставил. Стандартные словари максимум что видел едят до 6гб.
(проц можно мощнее, если нужны нестандартные хэши или что-то процессорозависимое)

hashcat сам по себе будет работать норм, пробовал разный софт ставить для очереди задач - везде гемор.
hashtopolis запускает тот же hashcat с ключами на лимит и старт - из-за этого дичайше проседает скорость. Пробовал на мощном процессоре - тоже не дало результатов. Толи в самом hashcat проблема, толи упирается в шину или еще куда, толи я не так что-то делаю. Короче hashtopolis у меня не заработал на нормальной скорости.
В итоге использую или чистый hashcat или hashview (кривоват и глючноват, но можно допилить до удобного состояния).
сколько вышел по деньгам такой конфиг?
 
Здравствуйте, может быть кто сталкивался, хочу собрать Ферму на базе 4090 карт, что бы риг состоял из 4х карт под Hashcat. Хотелось бы собрать производительный риг который будет способен работать без перебоев. Бюджет помимо карт примерно 150-200к, буду рад услышать ваши рекомендации, так как в сети не особо много подобной информации.
а ты не рассматривал вместо видео карт , fpga(плис платы)? Или не хочется морочиться с этим делом? Gliderexpert писал про них, было интересно. И как я понял они намного производительнее
 
сколько вышел по деньгам такой конфиг?
В рублях, цены год+ назад

Корпус под ферму 1600
Мать 4600
Райзеры 4шт 1000
Память 1300
SSD под систему 2500
Проц + вентилятор 6500
Блок питания 5000

Итого 22500 руб. Ну и добиваете 4090 или что нравится по вкусу)
 
а ты не рассматривал вместо видео карт , fpga(плис платы)? Или не хочется морочиться с этим делом? Gliderexpert писал про них, было интересно. И как я понял они намного производительнее
Можно я отвечу?) Из реального что удалось найти в инете - это статья 2020 года, когда энтузиасты запилили в JohnTheRipper поддержку одной из плат fpga. После этой статьи не удается найти ничего толкового, как и поддерживаемого железа.
На форуме hashcat пишут что в текущих реалиях это очень дорого, геморройно и не дает гибкости.
Видеокарту купил в магазине, воткнул в комп, указал ключик и бруть любой алгоритм.
FPGA охерей сначала найти и купить, получи лицензию на работу с оной, потом еще под каждый алгоритм надо писать свою реализацию для FPGA, потому что оной скорее всего в природе просто не существует.
 
Пожалуйста, обратите внимание, что пользователь заблокирован
Можно я отвечу?) Из реального что удалось найти в инете - это статья 2020 года, когда энтузиасты запилили в JohnTheRipper поддержку одной из плат fpga. После этой статьи не удается найти ничего толкового, как и поддерживаемого железа.
Похоже вот эта статья https://www.techsolvency.com/passwords/ztex/

Вообще, если выйти из интернета в реальным мир - в РФ есть как минимум 2 НИИ которые занимаются только выпуском суперкомпьютеров на плис для ломания паролей. Бедняги, надо им сказать что 4090 гибче и дешевле ))
 
Единственное что смущает лично меня, так это скорее лицензия, в рф на всем известной площадке я нашёл https://www.avito.ru/moskva/tovary_...m_medium=item_page_ios&utm_source=soc_sharing макет) но возможно это и совсем не то, но цена в 20к не прям огромная
Можно я отвечу?) Из реального что удалось найти в инете - это статья 2020 года, когда энтузиасты запилили в JohnTheRipper поддержку одной из плат fpga. После этой статьи не удается найти ничего толкового, как и поддерживаемого железа.
На форуме hashcat пишут что в текущих реалиях это очень дорого, геморройно и не дает гибкости.
Видеокарту купил в магазине, воткнул в комп, указал ключик и бруть любой алгоритм.
FPGA охерей сначала найти и купить, получи лицензию на работу с оной, потом еще под каждый алгоритм надо писать свою реализацию для FPGA, потому что оной скорее всего в природе просто не существует
 
Похоже вот эта статья https://www.techsolvency.com/passwords/ztex/

Вообще, если выйти из интернета в реальным мир - в РФ есть как минимум 2 НИИ которые занимаются только выпуском суперкомпьютеров на плис для ломания паролей. Бедняги, надо им сказать что 4090 гибче и дешевле ))
Нии ведь не продадут готовый супер компьютер)))) а всем хочется чтобы включил и все работало и ломало из коробки)) я даже где то видео, что ты писал что у тебя есть наработки по fpga) нет желания ,или времени сделать статью?)
 
Вообще, если выйти из интернета в реальным мир - в РФ есть как минимум 2 НИИ которые занимаются только выпуском суперкомпьютеров на плис для ломания паролей. Бедняги, надо им сказать что 4090 гибче и дешевле ))
В реальном мире бывал в НИИ и принимал участие в ОКР, правда по микроконтроллерам, а не плис. В интернетах платят больше, пока тут посижу)
Я вот-прям-щас запускаю в консоли условный
hashcat -m 4710 #sha1(md5($pass).$salt)
и иду пить кофе. Сколько уйдет времени чтобы запустить это на плис? А оно точно будет быстрее молотить, чем 28Gh на одной 4090?

Но я не спорю что плис будет сильно быстрее для какой-то специфической задачи. А уж если на уровне железа алгоритм зашить, как в асиках, то вообще конфетка..
Я бы даже рассмотрел возможность приобретения продукции такого НИИ для работы с bcrypt, например. Про Argon 2ID13 еще говорят, пока не сталкивался.
 
Последнее редактирование:
Пожалуйста, обратите внимание, что пользователь заблокирован
Единственное что смущает лично меня, так это скорее лицензия, в рф на всем известной площадке я нашёл

Никаких лицензий не нужно, софт есть крякнутый. ISE или Vivado.

но возможно это и совсем не то, но цена в 20к не прям огромная
Не то. Скорее VCU1525 и подобные платы.


я даже где то видео, что ты писал что у тебя есть наработки по fpga) нет желания ,или времени сделать статью?)

Было
https://xss.pro/threads/83624/ - Ускорение криптоанализа при помощи вычислительных систем на ПЛИС
https://xss.pro/threads/87632 - FPGA для начинающих

и иду пить кофе. Сколько уйдет времени чтобы запустить это на плис?

Зависит от наличия предварительных наработок. Если заранее написаны все расчетные модули и скомпилированы битстримы для ПЛИС, то запуск выполняется точно так же одной командой.

А оно точно будет быстрее молотить, чем 28Gh на одной 4090?

Можно смоделировать используя встроенный в ISE симулятор. Вообще, чтобы "попробовать" плис покупать ничего не надо - ставите xilinx ise и играетесь используя симулятор.

Но я не спорю что плис будет сильно быстрее для какой-то специфической задачи. А уж если на уровне железа алгоритм зашить, как в асиках, то вообще конфетка..

Именно так и делается - под каждую задачу отдельный битстрим-файл a.k.a. "конфигурация логики". Получаем для каждого алгоритма - узкоспециализированную конфигурацию вычислителя, как у асика. Перед началом расчетов эта конфигурация загружается в ПЛИСы, что занимает некоторое время, обычно несколько минут.
 


Напишите ответ...
  • Вставить:
Прикрепить файлы
Верх