Как ускорить чтение файлов python?

[Dread Pirate Roberts]

нужно было сравнить все строки одного файла со строками другого и записать полные дубли в третий файл.

comm же

NAME
comm - compare two sorted files line by line

SYNOPSIS
comm [OPTION]... FILE1 FILE2

DESCRIPTION
Compare sorted files FILE1 and FILE2 line by line.

When FILE1 or FILE2 (not both) is -, read standard input.

With no options, produce three-column output. Column one contains lines unique to
FILE1, column two contains lines unique to FILE2, and column three contains lines
common to both files.
-1 suppress column 1 (lines unique to FILE1)
-2 suppress column 2 (lines unique to FILE2)
-3 suppress column 3 (lines that appear in both files)

 

[sesh]

comm же

Можно сказать да, но там логика задачи чуть другая была, я просто убрал нюансы и оставил саму суть. Так что мне всё равно пришлось бы писать код. И в целом насчёт линукс команды - я не знаю как она работает под капотом, не могу судить об эффективности.

 

[Guron_18]

Если один файл от дублей почистить, то там уже 3 алгоритма как минимум применимы. Это ботносительно легко.

остановился на том, что надо грузить один из сравнимых файлов в память.

Два больших файла твоя програмулина не осилит. Пробуй еще.

 

[sesh]

Если один файл от дублей почистить, то там уже 3 алгоритма как минимум применимы. Это ботносительно легко.

Два больших файла твоя програмулина не осилит. Пробуй еще.

Размер второго файла неважен, читай ещё. В памяти держится только один. И да, задача была не чистить дубли, а вытянуть их.

 

[Guron_18]

задача была не чистить дубли, а вытянуть их.

Сорян перепутал
/threads/94358/