Вопрос по db reader-ам

[ssl]

Чем быстрее всего читать большие файлы csv, txt и тому подобные форматы?

 

[hackeryaroslav]

использование библиотек, специально созданных для работы с данными, например, pandas для Python или data.table для R.

 

[hackeryaroslav]

также Apache Spark (Scala/Python), Dask (Python), Hadoop/Hive (Java), FastR (R), SQL Server (T-SQL)

 

[BackHub]

pandas для Python

 

[magomed]

есть софт для windows. называется LTF Viewer. подгружает довольно крупные базы за пару секунд.

 

[benjaminhustlin]

csvkit (https://csvkit.readthedocs.io/en/latest/) набор утилит для работы с csv, tsv, например есть возможность выводить только заданные поля из файла (csvcut), выборка по регулярным выражениям (csvgrep), импорт из xlsx в csv (in2csv).

 

[barzifurze]

использование библиотек, специально созданных для работы с данными, например, pandas для Python или data.table для R.

emeditor best