wget / web firewall sucuri

В этой теме можно использовать автоматический гарант!

Новая сделка
Отслеживать
kali

kali

(L3) cache
Пользователь
Регистрация
07.10.2018
Сообщения
236
Реакции
61
привет всем.раньше никогда с подобным нисталкивася поэтому прошу у вас помоши.
есть хост в директории которого находятся огромное колисество файлов которые мне нужно выкачать .
при переходе в браузер по линку все без проблем качается,но как только я пробую wget фаер все блочит..
есть решение этому? или только руками?
за ранее всем спасибо
 
Поставь такой же user agent, как в браузере и импортируй печеньки для нужного сайта в wget. Потенциально поможет.
 
Pernat1y сказал(а):
Поставь такой же user agent, как в браузере и импортируй печеньки для нужного сайта в wget. Потенциально поможет.
corax сказал(а):
Подмена юзерагента в 90% не поможет, потому что куки. Простой способ https://addons.mozilla.org/en-US/firefox/addon/cliget/
да забыл добавить что юзер агент конечно же пробывал подставлять,но вот с куками еще нет,буду гуглить и пробовать спасибо за наводку)
 
corax сказал(а):
Подмена юзерагента в 90% не поможет, потому что куки. Простой способ https://addons.mozilla.org/en-US/firefox/addon/cliget/

аддон хороший,но не работает когда я качаю с помошью cntrl+S(по другому нельзя это
открытая директория для чтения на сервере) и файлов там больше 70к ,что бы его использовать
нужно каждый раз передвать название файла которое
выкачиваем .так и не собрал все в кучу .может у кого то была подобная задача ?
 
kali сказал(а):
аддон хороший,но не работает когда я качаю с помошью cntrl+S(по другому нельзя это
открытая директория для чтения на сервере) и файлов там больше 70к ,что бы его использовать
нужно каждый раз передвать название файла которое
выкачиваем .так и не собрал все в кучу .может у кого то была подобная задача ?
Что ты как маленький? Берешь команду из cliget, из линка убираешь название файлаhttp://site.com/openfolder/file.zip -> http://site.com/openfolder/, добавляешь что-то типа -l 1 -k -p -E -nc -r и всё скачается. Либо выдери все линки со страницы и скорми wget'у.
 
corax сказал(а):
Что ты как маленький? Берешь команду из cliget, из линка убираешь название файлаhttp://site.com/openfolder/file.zip -> http://site.com/openfolder/, добавляешь что-то типа -l 1 -k -p -E -nc -r и всё скачается. Либо выдери все линки со страницы и скорми wget'у.
понимаю тебя ,но что бы cliget сформировал комманду(curl,wget) нужно скачать с этого сайта,но я могу скачать
только cntrl+S, saved as(по другому нельзя это
открытая директория для чтения на сервере),что на cliget не влияет никак и комманду он не формирует.
взял аддон для той же мозиллы cookie quick manager чтобы сформировать линк на подобие cliget ,но куков мой сайт не оставляет
уже из cliget юзерагент пробнул подставить,все равно 403 fofbidden.может есть еще варианты решения?
 
kali сказал(а):
понимаю тебя ,но что бы cliget сформировал комманду(curl,wget) нужно скачать с этого сайта,но я могу скачать
только cntrl+S, saved as(по другому нельзя это
открытая директория для чтения на сервере),что на cliget не влияет никак и комманду он не формирует.
взял аддон для той же мозиллы cookie quick manager чтобы сформировать линк на подобие cliget ,но куков мой сайт не оставляет
уже из cliget юзерагент пробнул подставить,все равно 403 fofbidden.может есть еще варианты решения?
Кинь ссылку в жабу
 
кстати уменя такая же ситуация, есть куча файлов, через браузер открывает, через wget, uget, curl не хочет. curl выдает 403 доступ запрещен, остальные висят в ожидании. юзер агент и куки подставлял, толку нет. щас попробую через аадон выше указанный.
ЗЫ. Аддон не прокатил. есликто то знает что-то подобное, но чтоб можно было списком файлы грузить.Буду очень признателен.
 
Последнее редактирование:
wget/curl не умеют в JS, поэтому их довольно легко спалить при желании.
Как вариант, можно попробовать заскриптовать браузер ("headless browser" в гугл).
 
Pernat1y сказал(а):
wget/curl не умеют в JS, поэтому их довольно легко спалить при желании.
Как вариант, можно попробовать заскриптовать браузер ("headless browser" в гугл).
Там нет JS.
 
Может из-за referrer'a блокируют, или из-за количества запросов.
Далее без примера будет только телепатия и гадание.
 
dr.alex сказал(а):
кстати уменя такая же ситуация, есть куча файлов, через браузер открывает, через wget, uget, curl не хочет. curl выдает 403 доступ запрещен, остальные висят в ожидании. юзер агент и куки подставлял, толку нет. щас попробую через аадон выше указанный.
ЗЫ. Аддон не прокатил. есликто то знает что-то подобное, но чтоб можно было списком файлы грузить.Буду очень признателен.
в общем мне подвезло и удалось нагуглить вот эту вещ hммs://ugetdm.com/downloads/ с ее помошью
без проблем скачал все файлы .знаю что поздно за это простите ,может кому и пригодится
 
admin


Напишите ответ...
Верх