• XSS.stack #1 – первый литературный журнал от юзеров форума

как парсить сайты ?

KlRA

RAID-массив
Пользователь
Регистрация
01.11.2022
Сообщения
63
Реакции
4
hola
хочу изучить информацию о парсинге сайтов
какие есть приложения/скрипты для автоматизации парсинга сайтов ?
любой сайт можно спарсить ?
будет интересно почитать советы опытных пользователей :)
 
hola
хочу изучить информацию о парсинге сайтов
какие есть приложения/скрипты для автоматизации парсинга сайтов ?
любой сайт можно спарсить ?
будет интересно почитать советы опытных пользователей :)
не поверишь! он такой же как и везде..... идёшь в гугл и вбиваешь "как парсить сайты", потом идёшь на ютуб и там делаешь то же самое. Что тебе ближе/за что ты смог зацепиться используй!

Ты пойми что эта задача решается разными инструментами, и какой зайдёт тебе мы не можем знать. Может быть ты придёшь к такому, что ни какой тебе питон(например) не нужен и ты будешь использовать зеннопостер или бас...

Это как вопрос.... Люди, вот машину хочу купить, подскажите что купить как опытные автовладельцы... И тут началось Увазик, Прадик, БМВ 3, Камаз
Вроде бы все посоветовали что ты просил, но у всех маши разные эксплуатационные условия.

А я хотел всеголишь по выходным в сад ездить.....

Так что только ты сможешь понять что тебе нужно, и когда ты что то пробуешь, но потом понимаешь что ты это не будешь использотьва, ЭТО НЕ БЭД, ЭТО ГУД
 
хочу изучить информацию о парсинге сайтов
тебя интересует парсинг информации с определенного сайта или ссылок (для какой-то конкурентной разведки/формирования базы и тд)?

какие есть приложения/скрипты для автоматизации парсинга сайтов ?
большинство парсеров можно легко написать на python. для автоматизации можешь использовать PrivateKeeper/OpenBullet (но это исходя из твоих потребностей)

любой сайт можно спарсить ?
не всегда. можно спарсить то, к чему сам пользователь имеет доступ (я думаю это очевидно, но все же)
 
не поверишь! он такой же как и везде..... идёшь в гугл и вбиваешь "как парсить сайты", потом идёшь на ютуб и там делаешь то же самое. Что тебе ближе/за что ты смог зацепиться используй!

Ты пойми что эта задача решается разными инструментами, и какой зайдёт тебе мы не можем знать. Может быть ты придёшь к такому, что ни какой тебе питон(например) не нужен и ты будешь использовать зеннопостер или бас...

Это как вопрос.... Люди, вот машину хочу купить, подскажите что купить как опытные автовладельцы... И тут началось Увазик, Прадик, БМВ 3, Камаз
Вроде бы все посоветовали что ты просил, но у всех маши разные эксплуатационные условия.

А я хотел всеголишь по выходным в сад ездить.....

Так что только ты сможешь понять что тебе нужно, и когда ты что то пробуешь, но потом понимаешь что ты это не будешь использотьва, ЭТО НЕ БЭД, ЭТО ГУД
спасибо за развернутый ответ 👍
 
тебя интересует парсинг информации с определенного сайта или ссылок (для какой-то конкурентной разведки/формирования базы и тд)?
возьму как примера сайт https://www.instagram.com/
можно ли спарсить всех его пользователей
если да то сколько это займет времени ?
большинство парсеров можно легко написать на python. для автоматизации можешь использовать PrivateKeeper/OpenBullet (но это исходя из твоих потребностей)
есть ли готовые скрипты на гитхабе ?
если да то можно ссылку пожалуйста :)
 
были бы навыки :(
на ютубе есть канал PythonToday подробно рассказывает как и что писать и под разные задачи
как минимум тебе нужно установить какой нибудь vscode или pycharm где ты будешь писать или редактировать чей нибудь код
 
Если на JavaScript.

Скачай Node JS + Vscode.
Кидай фетч + регуляркой ищи со странице, это если что-то простое. Если сложное там есть npm пакеты, посмотри на канале Анны Кубо. Смотри примеры на GitHub.
 
возьму как примера сайт https://www.instagram.com/
можно ли спарсить всех его пользователей
если да то сколько это займет времени ?

есть ли готовые скрипты на гитхабе ?
если да то можно ссылку пожалуйста :)
Ты сразу хочешь взять монстра, у которого есть хорошая защита от ботов + ещё и акаунт относительно трудно сделать. Тут ты учиться если и буешь то очень долго.

Ты возьми для начала какую нибудь доску обьявлений или ещё какой сайт, на котором не нужно регистрироваться и поиграйся с библиотеками для парсинга.

Когда поймёшь базовое, как искать элементы, как получать значение элемента, как эго складывать на жёсткий.....потом уже когда будут базовые навыки для работы с нужными тебе либами, то уже можно переходить к инстаграмму и к тому что ты узнаешь на этом этапе, подучить как пользоваться проксями в твоих скриптах, как эмулировать действия человека и дальше больше. А ты сразу хочешь с монстром сыграть в кто кого!!!
 


Напишите ответ...
  • Вставить:
Прикрепить файлы
Верх