• XSS.stack #1 – первый литературный журнал от юзеров форума

Импорт большой csv базы данных в mongodb, используя python

KR1ST1K

CD-диск
Пользователь
Регистрация
20.09.2019
Сообщения
10
Реакции
1
Нужна помощь! Я написал простенький скрипт, который с помощью pymongo импортирует csv в mongodb. А проблема заключается в том, что если файл большой (более 1 гб), то
заполняется память и скрипт, соответственно крашится. Уже не знаю что делать. И python, и mongodb 64-х битные.
 
Нужна помощь! Я написал простенький скрипт, который с помощью pymongo импортирует csv в mongodb. А проблема заключается в том, что если файл большой (более 1 гб), то
заполняется память и скрипт, соответственно крашится. Уже не знаю что делать. И python, и mongodb 64-х битные.
1) Ограничивать использование памяти на исполнение.
2) Тем же питоном разбивать файл на части и потом только импортировать.
 
1) Ограничивать использование памяти на исполнение.
2) Тем же питоном разбивать файл на части и потом только импортировать.
Спасибо за быструю и четкую помощь!
 


Напишите ответ...
  • Вставить:
Прикрепить файлы
Верх