• XSS.stack #1 – первый литературный журнал от юзеров форума

Скачивание документов(файлов) с сети

Отслеживать
VanStark

VanStark

Законопослушный Гражданин
Пользователь
Регистрация
13.07.2023
Сообщения
131
Реакции
33
Гарант сделки
5
Депозит
0.495
Всех приветствую!
Товарищи, последнее время проблемы со скачиванием файлов на сетях. Подскажите чем вы скачиваете, какие способы может используете. Или есть у кого-то платный софт на автоматисческое скачивание по запросам, поделитесь информацией, предлагаю обсудить этот вопрос. Буду благодарен каждому отписавшему!
 
Поддерживаю тему, так как тоже интересен именно какой самый действенный способ найти реально хорошие файлы среди тонны документов. если есть какой то метод кроме поиска по ключевым словам. Даже если все выкачать , как найти именно файлы, которые поспособствуют давлению на ту или иную корпорацию
 
Выложите инфу как вы ищете, поделитесь с обществом.Вам в ответ укажут на ошибки/что можно улучьшить/покажут свои наработки.
 
повторюсь, все что я делаю это пытаюсь по ключевым словам в папке найти что то.
возможно кто то поделиться своим списком ключевых слов, даже к примеру с юриспруденцией, список может исчисляться сотнями слов, но возможно кто то подскажет какие именно в этом направлении слова помогут найти то что нужно.
 
Чисто в ознакомительных целях, сделано с помощью ИИ.
Код: 
$sourcePath = "\\1.1.2.1\Home"
$keywords = @(
    'budget', 'inventory', 'audit', 'contracts', 'compliance',
    'project', 'insurance', 'tax', 'partnership', 'licensing',
    'logistics', 'complaints', 'conflict', 'human resources',
    'incident', 'data privacy', 'privacy', 'sales', 'correspondence',
    'statements', 'property', 'agreements', 'purchase orders',
    'orders', 'private', 'confidential', 'scan', 'passport',
    'documents', 'customer', 'intellectual', 'security', 'research',
    'strategic', 'personnel', 'proprietary', 'legal', 'medical',
    'financial'
)
$stopWords = @('powerShell', 'java', 'dining','oracle')
$destinationFile = "C:\temp\list.txt"
$uniqueFolders = @{}

Get-ChildItem -LiteralPath $sourcePath -Recurse -Directory |
    Where-Object {
        ($_.Name -match ($keywords -join '|')) -and ($stopWords -notcontains $_.Name.ToLower())
    } | ForEach-Object {
        if (-not $uniqueFolders.ContainsKey($_.FullName)) {
            $uniqueFolders[$_.FullName] = $true
            $_.FullName | Out-File -FilePath $destinationFile -Append -Encoding utf8
        }
    }

Этот сценарий PowerShell выполняет следующие действия:

1. Определяет переменную `$sourcePath`, содержащую путь к исходной директории, которую нужно просканировать.
2. Определяет переменную `$keywords`, содержащую список ключевых слов для фильтрации директорий.
3. Определяет переменную `$stopWords`, содержащую список слов, которые нужно исключить из результатов.
4. Определяет переменную `$destinationFile`, указывающую на файл, в который будут записываться результаты.
5. Создает хэш-таблицу `$uniqueFolders`, которая будет использоваться для отслеживания уникальных директорий.
6. Использует `Get-ChildItem` для рекурсивного получения всех директорий в `$sourcePath`.
7. Фильтрует результаты, оставляя только те директории, имена которых содержат хотя бы одно из ключевых слов из `$keywords`, и исключая директории, имена которых содержат любое из слов из `$stopWords`.
8. Проходится по отфильтрованным директориям и проверяет, содержится ли путь в хэш-таблице `$uniqueFolders`.
9. Если директория уникальна (ее путь не содержится в хэш-таблице), то ее путь добавляется в хэш-таблицу и записывается в файл `$destinationFile`.
Конечный результат - файл `$destinationFile`, содержащий список уникальных директорий, удовлетворяющих критериям фильтрации.
Дальше когда есть список интересных файлов ....... привет, медвед!
 
DrSleep сказал(а):
Выложите инфу как вы ищете, поделитесь с обществом.Вам в ответ укажут на ошибки/что можно улучьшить/покажут свои наработки.
Спасибо за информацию по поиску файлов. Думаю кто найдёт этот топик, будет полезно, да и сам не раз попробую скриптом поискать.

Вкратце расскажу как я занимаюсь поиском файлов и скачкой:
Поиск файлов в основном осуществляется вручную перебором наиболее интересных серверов.
Через короткий скрипт, либо в поиске по ключевым словам.

Хотелось бы понять, как быстрее забирать файлы, чем вы пользуетесь?
Всегда разная скорость забора файлов, где-то она более менее, а где-то прям ужас...
Может есть способы как-то настраивать это, находясь на сети
Потому-что часто бывает, что на компах нет интернета, либо заблочены сервисы по передаче файлов.
В основном качаю на различные облачные сервисы, либо файлообменники.
Понимаю, что это скорее всего худшие варианты, и есть более изощеренные методы.

Надеюсь кому-то и мои способы покажутся полезными, считаю это известно практически каждому, кто интересовался или промышлял подобным.
 
Подскажи пожалуйста, а как ты ищешь файлы?
Но больше даже интересует твой метод скачивания, и что у тебя со скоростью?
Ice Pathico сказал(а):
Поддерживаю тему, так как тоже интересен именно какой самый действенный способ найти реально хорошие файлы среди тонны документов. если есть какой то метод кроме поиска по ключевым словам. Даже если все выкачать , как найти именно файлы, которые поспособствуют давлению на ту или иную корпорацию
 
VanStark, пока мне доверили только сам поиск среди тонны документов, поэтому уж решил присоединиться к этой теме) в поиске помощи. не я качаю, и в это дело я не лезу.
 
Ice Pathico сказал(а):
VanStark, пока мне доверили только сам поиск среди тонны документов, поэтому уж решил присоединиться к этой теме) в поиске помощи. не я качаю, и в это дело я не лезу.
Поинтересуйся, в любом случае понадобится)
А что касаемо поиска, то DrSleep интересный скрипт скинул. Попробуй)

Ещё добрый человек посоветовал ознакомиться с интересной тулзой "Tree Size"
Я слегка ознакомился, думаю она поможет тебе в твоих начинаниях)

Остался вопрос, можно ли как-то ускорить скачивание на проблемных доступах
 
DrSleep сказал(а):
По моему почти все качают rclone на мегу, прям мейнстрим какой-то.Конфиги что и как качают гуглятся на изи.
по моему про него уже все забывать начали)
 
IT-user сказал(а):
по моему про него уже все забывать начали)
А чем пользуются тогда?))
Может есть мысли?
 
VanStark сказал(а):
А чем пользуются тогда?))
Может есть мысли?
такие вещи в паблике не пишут, дабы не убить все это ремесло. Мысли глобальней, все в паблике. Смотри в сторону клаудов.
 
Спасибо за наводку)
Если у кого есть какие-то предложения, по софту или способам (Отпишите в лс, готов платить за стоящую информацию/софт)
 
Barbossa сказал(а):
забаньте этого пидора, тем более он хромой
скачивай чем можешь в чем проблема ?
на мой взляд, банальный пидлила авер, либо рекавери
С выражениями будь попроще.
Без тебя разберусь, чем мне качать.
На мой взгляд форум и создан, чтобы вести обсуждения, находить единомышленников и повышать свои знания. Имея знания, делиться ими.
А свои пустые обвинения, можешь засунуть в одно место.
 
Качают люди через Rclone на Мегу, конечно.
но мега порезаал тарифы, там хрен ее купишь за крипту, так что вот тебе наводка
Sд3лvй б3кvпы тvк, сл0вно 3то тв0я с3ть и ты админ)))
 
Прост теперь за 30 чтоли евро минимум на месяц 6тб, ну или на год криптой обычный.Некоторые АВ запросы на мегу палят, так что лучьше брать альтернативу
 
Che сказал(а):
Качают люди через Rclone на Мегу, конечно.
но мега порезаал тарифы, там хрен ее купишь за крипту, так что вот тебе наводка
Sд3лvй б3кvпы тvк, сл0вно 3то тв0я с3ть и ты админ)))
Спасибо за наводку, размышлял об этом.
В любом случае нужно тестить, и всё упирается снова в скорость выполнения этого процесса.
 
Последнее редактирование:
admin


Напишите ответ...
  • Вставить:
Прикрепить файлы
Верх