Эффективный способ фильтрации больших баз

[hashrate]

Всем привет, есть текстовые файлы (10-30гб) со строками которые мне надо отфильтровать - указать мин. и макс. длинну и тд. Есть ли более эффективный способ сделать это чем вот так:

filtered_passwords = []

with open(source, "r", encoding='utf8') as f:
    for password in f:
        if len(password) >= 8 and len(password) <= 30 and " " not in password and not validators.email(password) and not validators.domain(password) and not validators.iban(password) and not validators.ipv4(password) and not validators.ipv6(password) and not validators.mac_address(password) and not validators.uuid(password):
            filtered_passwords.append(password)

with open("filtered_passwords.txt", "w") as f:
    f.write("".join(str(i) for i in filtered_passwords))

 

[SaintLabel]

Всем привет, есть текстовые файлы (10-30гб) со строками которые мне надо отфильтровать - указать мин. и макс. длинну и тд. Есть ли более эффективный способ сделать это чем вот так:

filtered_passwords = []

with open(source, "r", encoding='utf8') as f:
    for password in f:
        if len(password) >= 8 and len(password) <= 30 and " " not in password and not validators.email(password) and not validators.domain(password) and not validators.iban(password) and not validators.ipv4(password) and not validators.ipv6(password) and not validators.mac_address(password) and not validators.uuid(password):
            filtered_passwords.append(password)

with open("filtered_passwords.txt", "w") as f:
    f.write("".join(str(i) for i in filtered_passwords))

Если ты ищешь более эффективный способ, то думаю куда быстрее будет с обработкой по чанкам и во многопотоке

3 простых способа обработки больших данных с помощью Pandas

machinelearningmastery.ru

 

[hashrate]

Если ты ищешь более эффективный способ, то думаю куда быстрее будет с обработкой по чанкам и во многопотоке

3 простых способа обработки больших данных с помощью Pandas

machinelearningmastery.ru

Идея хорошая. Но разве multiprocessing поможет если все упирается в скорость диска?

 

[Guron_18]

Всем привет, есть текстовые файлы (10-30гб) со строками которые мне надо отфильтровать - указать мин. и макс. длинну и тд. Есть ли более эффективный способ сделать это чем вот так:

В твоем случае выдаст ошибку при переполнении filtered_passwords

 

[SaintLabel]

Идея хорошая. Но разве multiprocessing поможет если все упирается в скорость диска?

перед записью строки есть логическая операция, потому с чанками теоритически минимально, но ускорит процесс обработки