Где лучше всего хранить 5 тб данных?

[dfsgadfgadf]

Всем привет , имеется большое кол-во слитых баз(5тб+), размер которых будет еще расти. Какую базу данных использовать для такого кол-ва информации?
Важна скорость чтения информации из базы

так же интересует информация где хранить такую базу, покупать где то дедик на столько памяти или же лучше тогда взять домашний сервер? Если домашний сервер то какие характеристики нужны для него, а если покупать дедик то где такой взять

 

[gliderexpert]

Смотря чего хотеть и насколько эти базы ценные. Если минимум геморроя с собственным железом - то конечно проще арендовать VPS . Но нужно понимать, что в случае просрочки оплаты на пару дней, хостер отправит все Ваши базы в /dev/null .

Собирать свой сервер - никаких особых проблем возникнуть не должно, 5тб - совсем немного.
Основной том с БД - массив raid 5 из NVME SSD'шек (т.к. по Вашему ТЗ - важна скорость доступа), подключаемых напрямую в pci-e , а бекап делать на дисковую полку с нужным количеством WDшных дисков серии Purple, по 1тб.
Грубо говоря - 1тб SSD = 100$, WDные винты для бекапов примерно столько же, т.е. дисковая система выходит 1000-1500$.
Это если нужна скорость + надежность.

Можно забить на надежность и бекапить на 1-2 винта с высокой плотностью записи, но есть риск получить грусть-печаль когда этот винт сдохнет, а PC-3000 скажет "не шмогла я...", потому как SMR.

 

[karpatsk]

А не проще на ССД просто и все?

 

[DimmuBurgor]

QNAP/NAS or else SSD w/ RAID as suggested above if you plan on doing mutiple read/write. I would avoid HDD regardless of RPM unless you had a indestructible enclosure fabricated (jk I still would not use HDD)

 

[gliderexpert]

А не проще на ССД просто и все?

Если бекап не нужен, и данные не особенно ценные, то да - достаточно ssd.
HDD только для резервных копий.

 

[RiRi]

Тут два основных вопроса: рост и БД

1. zfs (готовые решение xigmanas, truenas) - на вырост.

2. про БД - не понятно кокой тип, если SQL, то хватит и mysql с InnoDB размер таблицы до 65ТБ или MyISAM 256ТБ. SQL является узким местом и скорость зависит от того, к какой нормальной форме приведены данные в идеале должна быть шестая форма.

 

[DimmuBurgor]

Also worth consideration: IPFS, P2P/DHT, T-LAFS, SAN, DAS, or something like ScalityRING or EMC ObjectScale or even OSD for data deduplication, compression

 

[Brandon]

Всем привет , имеется большое кол-во слитых баз(5тб+), размер которых будет еще расти. Какую базу данных использовать для такого кол-ва информации?
Важна скорость чтения информации из базы

так же интересует информация где хранить такую базу, покупать где то дедик на столько памяти или же лучше тогда взять домашний сервер? Если домашний сервер то какие характеристики нужны для него, а если покупать дедик то где такой взять

Так нужно решение для продакш проекта по типу intelx.io или search.illicit.services с монетизацией?
или только для личного использования, и на "сохранить данные в надежности" без монетизации?

Если первое, то можно сразу переодеваться в "морского пехотинца", так как на твой хвост сразу сядут несколько всеми известных наблюдательных и разведывательных гос.учреждений ЮСЫ и несколько десятков частных ИБ-контор со всего Мира, которые будут только и делать что охотиться на твой задницу.. поэтому нужно четко определиться 1 или 2 ?

 

[DimmuBurgor]

intelx.io или search.illicit.services с монетизацией?

Isn't a cucumber also a pickle?

 

[dfsgadfgadf]

Так нужно решение для продакш проекта по типу intelx.io или search.illicit.services с монетизацией?
или только для личного использования, и на "сохранить данные в надежности" без монетизации?

Если первое, то можно сразу переодеваться в "морского пехотинца", так как на твой хвост сразу сядут несколько всеми известных наблюдательных и разведывательных гос.учреждений ЮСЫ и несколько десятков частных ИБ-контор со всего Мира, которые будут только и делать что охотиться на твой задницу.. поэтому нужно четко определиться 1 или 2 ?

2, сайта не будет, работа по снг

 

[Brandon]

2, сайта не будет, работа по снг

ну тогда держи все это банально на SSD, если будешь городить свои сервера или арендовать их у других, оставить много следов и тебя в итоге поимеют, вот интересная статья с трагическим концом по твоей теме, прочтите:

bleepingcomputer[.]com/news/security/ukrainian-arrested-for-selling-data-of-300m-people-to-russians/