Приветствую,коллеги.
Ситуация следующая:
Имею txt файл в кодировке utf-8, обьемом около 60 гигов, 500кк строк, 6 столбцов, разделители в наличии (радует,что не в ассортименте). Намеревался почистить и удалить часть столбцов через PowerQuery, а затем экспортировать в csv для дальнейшего импорта в Cronos или PostgreSQL , накидал запрос и загрузил. В итоге, при каждой попытке загрузить файлы в ексель практически в самом конце (за 20кк до конца файла) данные переставали загружаться. Текстовыми редакторами не открывается под предлогом нехвати ОЗУ (на борту,к слову, 64 гб ОЗУ частотой 3 МГц и i9-10900). Написал на питоне скрипт для многопоточной обработки без записи в ОЗУ - не помогло (что странно,как по мне). Так же пробовал менять размеры чанков, использовать очередь - бестолку (стоить отметить что в програмировании я script kiddie), скрипты работали и каждый раз крашились в конце
И собственно вопрос: знает ли кто решение, что бы эту базу можно было как минимум использовать по назначению, а в идеале еще и можно было почистить, довольствуясь моими вычеслительными мощностями. В приорите кронос и PostgreSQL, но рассматриваю все варианты.
Итоговая цель это создание телеграм бота или локального веб-приложения для поиска в этой базе.
Ситуация следующая:
Имею txt файл в кодировке utf-8, обьемом около 60 гигов, 500кк строк, 6 столбцов, разделители в наличии (радует,что не в ассортименте). Намеревался почистить и удалить часть столбцов через PowerQuery, а затем экспортировать в csv для дальнейшего импорта в Cronos или PostgreSQL , накидал запрос и загрузил. В итоге, при каждой попытке загрузить файлы в ексель практически в самом конце (за 20кк до конца файла) данные переставали загружаться. Текстовыми редакторами не открывается под предлогом нехвати ОЗУ (на борту,к слову, 64 гб ОЗУ частотой 3 МГц и i9-10900). Написал на питоне скрипт для многопоточной обработки без записи в ОЗУ - не помогло (что странно,как по мне). Так же пробовал менять размеры чанков, использовать очередь - бестолку (стоить отметить что в програмировании я script kiddie), скрипты работали и каждый раз крашились в конце
И собственно вопрос: знает ли кто решение, что бы эту базу можно было как минимум использовать по назначению, а в идеале еще и можно было почистить, довольствуясь моими вычеслительными мощностями. В приорите кронос и PostgreSQL, но рассматриваю все варианты.
Итоговая цель это создание телеграм бота или локального веб-приложения для поиска в этой базе.
Последнее редактирование:
