На чем лучше всего писать свою оболочку под винду для обработки больших данных (перс данные). Примерный вид: форма поиска и вывод списка результатов. Должна быстро работать на перс компе с БД до 1 млрд записей.
-
XSS.stack #1 – первый литературный журнал от юзеров форума
Выбор платформы
- Автор темы AlexanderSPushkin
- Дата начала
mongodb, есть поддержка полнотекстового поиска
С 1 млрд (смотря чего, конечно) у вас любая БД легко справится, если писать нормально. Для однопользовательского локального варианта хорош SQLite. Если нужно менять/развивать структуру, то наверно лучше Mongo, в SQLite это гемор при большом объеме данных. По скороси на 1 млрд будет больше зависеть не от платформы, а от исполнения. Если сами будете писать, лучше писать на том, что лучше знаете. Это очень в общем. Чтобы сказать больше, нужно больше подробностей: какие конкретно записи, какие поля, какие запросы и т.п.
- Автор темы
- Добавить закладку
- #4
Сам точно не буду.
Кратко ТЗ:
сделать единую базу инфы о людях (фио, адрес, др, места работы, авто, перемещения, связи, соцсети, резюме + дополнительные поля, список которых должен быть упраляемым) с оболочкой с формой для ввода фио + возраст, контакты и поиском по ним с выдачей результатов в читабельной форме. Работать должно на ноуте под винду.
Сколько может стоить?
Оболочка скорее всего ничего не будет стоить по сравнению с тем, сколько будет стоить загнать в нее вашу информацию - это зависит от того, в каком формате у вас исходные данные.
- Автор темы
- Добавить закладку
- #6
формат разный, файлов много. большая часть - exel. как лучше сделать?
Привести к единому формату, в частности из экселя в питон можно с помощью csv перенести.
Мне кажется, что текущую задачу можно решить, ничего не программируя, с помощью какого-нить elastic search и тому подобных систем.
Киньте список файлов хотя бы глянуть.
Варианты, если самому не хочется делать:
- оплачивать конвертацию всего объема в единый формат и потом за каждую новую порцию инфы платить
- кооперироваться с кем-то (вы ему инфу, он вам - программинг)
- вариант от DildoFagins - индексировать все файлы системой полнотектового поиска (имхо, не ваш вариант, тк по красоте и юзабельно за раз настроить все равно не получится).
написал вам в личку
Варианты, если самому не хочется делать:
- оплачивать конвертацию всего объема в единый формат и потом за каждую новую порцию инфы платить
- кооперироваться с кем-то (вы ему инфу, он вам - программинг)
- вариант от DildoFagins - индексировать все файлы системой полнотектового поиска (имхо, не ваш вариант, тк по красоте и юзабельно за раз настроить все равно не получится).
написал вам в личку
Последнее редактирование: