Если не решили ещё, я как-то решал похожую задачу, нужно было расшифровать около 10000 файлов, потом распаковать и этого было мало, нужно ещё было объединить это всё в один файл.
@echo off
setlocal enabledelayedexpansion
:: папка с архивами
set in=C:\1\2
:: папка с распакованными файлами. Создастся сама.
set out=C:\new
:: папка, в которой находится консольный 7z.exe
set prg=C:\Program Files\7-Zip
if /i not exist "%in%" echo Папка с архивами не найдена& pause& exit
cd /d "%in%"
for /f "delims=" %%a in ('dir /b /s /a-d *.zip *.rar *.7z') do "%prg%\7z.exe" x "%%a" -o"%out%\%%~nxa"
pause
exitЯ по сути 70% "E:\7-Zip\7z.exe" x *.zip уже и сделал, так что надобность отпала, попробовал и этот батник, виснет и не подает признаков как и любые другие подобные, тут либо проблема в том как они пытаются сканировать директорию, либо держать сразу в памяти весь список распаковываемых файлов, но факт остается тем же, стандартная команда консольного 7z - работает, если добавлять к ней аргументы и прочее - виснет мёртво, тоже самое и с винраром
А если число итераций в цикле ограничить ?
@echo off
setlocal enabledelayedexpansion
:: папка с архивами
set in=C:\1\2
:: папка с распакованными файлами. Создастся сама.
set out=C:\new
:: папка, в которой находится консольный 7z.exe
set prg=C:\Program Files\7-Zip
set counter=100000
if /i not exist "%in%" echo Папка с архивами не найдена& pause& exit
cd /d "%in%"
for /f "delims=" %%a in ('dir /b /s /a-d *.zip *.rar *.7z') do (
"%prg%\7z.exe" x "%%a" -o"%out%\%%~nxa"
set counter=%counter%-1
del "%%a"
if %counter% EQU 0 goto brakefor
)
:brakefor
echo Continue
pause
exitМне уже чисто из интереса хочется узнать чем так принципиально отличаются просто запуск консольного 7z от запуска с аргументами
Ничем...
Надо посмотреть, но вероятно там можно получить список файлов в директории ни одним большим массивов, а иттеративно получать по одному файлу и распаковывать его в цикле.
import os
import subprocess
ZIP_PATH = "C:\\Program Files\\7-Zip\\7z.exe" # Путь к 7z.exe
DIRECTORY_PATH = "C:\\test\\" # Путь к директории с архивами
if __name__ == "__main__":
for f in os.listdir(DIRECTORY_PATH):
full_path = DIRECTORY_PATH + f
if (f.endswith(".zip")):
try:
print(f"[+] Found ZIP file: {f}")
unpacked_path = full_path + "_unpacked"
print(f"[+] Processing ZIP file: {f}\n\n")
subprocess.call(ZIP_PATH + f" x \"{full_path}\" -o\"{unpacked_path}\" -r -aoa" )
os.remove(full_path)
print(f"\n\n[+] Created directory and unpacked .zip file: {unpacked_path}")
except:
print("[-] Error occured: {f}")Ну опять же это не решает проблему миллиона файлов, тк os.listdir возвращает список и он полностью находится в памяти. Нужно использовать что-то типа: https://pypi.org/project/scandir/ (с Питона версии 3.5 эта функция есть в стандартной библиотеке вроде как).
Как я и писал, интересует решение задачи стандартными способами используя лишь средства вин + 7z/winrar
Ок. Powershell. А он же .NET. Заюзаем новомодные фичи, не малварь же пишем под все ОС. Таргет WIN 10, думаю уже все обновились?))
EnumerateFiles возвращает итератор. Таким образом можно осуществить lazy перебор файлов, не загружая список всех файлов в RAM. Просто лениво итерируем и на каждую итерацию выполняем разархивацию с помощью cmdleta Expand-Archive, не нужно ждать, пока загрузит весь список файлов в память.
function Extractor {
param($from, $to, $archiveFormats)
if($archiveFormats.Length -eq 0) {
Write-Host 'You must specify archive formats'
return
}
if($(Test-Path $to -PathType Container) -ne $True){
New-Item $to -itemtype Directory
}
if($(Test-Path $from -PathType Container) -eq $True){
foreach($iter in [System.IO.Directory]::EnumerateFiles($from)){
Get-ItemProperty $iter | % {
if($archiveFormats -contains $_.Extension) {
$dest = $to + '/' + $_.BaseName;
if($(Test-Path $dest)){
Remove-Item -Path $dest -Recurse
}
Expand-Archive -Path $_.FullName -DestinationPath $dest
Remove-Item -Path $_.FullName
}
}
}
}
else {
Write-Host "$from folder does not exists";
return
}
}
# Вызывать примерно так.
Extractor -from "...\extractorPS\archives" -to "...\extractorPS\result" -archiveFormats @('.zip', '.rar')