как парсить сайты ?

[KlRA]

hola
хочу изучить информацию о парсинге сайтов
какие есть приложения/скрипты для автоматизации парсинга сайтов ?
любой сайт можно спарсить ?
будет интересно почитать советы опытных пользователей

 

[BLUA]

hola
хочу изучить информацию о парсинге сайтов
какие есть приложения/скрипты для автоматизации парсинга сайтов ?
любой сайт можно спарсить ?
будет интересно почитать советы опытных пользователей

не поверишь! он такой же как и везде..... идёшь в гугл и вбиваешь "как парсить сайты", потом идёшь на ютуб и там делаешь то же самое. Что тебе ближе/за что ты смог зацепиться используй!

Ты пойми что эта задача решается разными инструментами, и какой зайдёт тебе мы не можем знать. Может быть ты придёшь к такому, что ни какой тебе питон(например) не нужен и ты будешь использовать зеннопостер или бас...

Это как вопрос.... Люди, вот машину хочу купить, подскажите что купить как опытные автовладельцы... И тут началось Увазик, Прадик, БМВ 3, Камаз
Вроде бы все посоветовали что ты просил, но у всех маши разные эксплуатационные условия.

А я хотел всеголишь по выходным в сад ездить.....

Так что только ты сможешь понять что тебе нужно, и когда ты что то пробуешь, но потом понимаешь что ты это не будешь использотьва, ЭТО НЕ БЭД, ЭТО ГУД

 

[mendax]

Попробуй на python написать парсер это не очень сложно если есть время на это
либо поищи на github там много парсеров лежит

 

[pakhom]

хочу изучить информацию о парсинге сайтов

тебя интересует парсинг информации с определенного сайта или ссылок (для какой-то конкурентной разведки/формирования базы и тд)?

какие есть приложения/скрипты для автоматизации парсинга сайтов ?

большинство парсеров можно легко написать на python. для автоматизации можешь использовать PrivateKeeper/OpenBullet (но это исходя из твоих потребностей)

любой сайт можно спарсить ?

не всегда. можно спарсить то, к чему сам пользователь имеет доступ (я думаю это очевидно, но все же)

 

[KlRA]

не поверишь! он такой же как и везде..... идёшь в гугл и вбиваешь "как парсить сайты", потом идёшь на ютуб и там делаешь то же самое. Что тебе ближе/за что ты смог зацепиться используй!

Ты пойми что эта задача решается разными инструментами, и какой зайдёт тебе мы не можем знать. Может быть ты придёшь к такому, что ни какой тебе питон(например) не нужен и ты будешь использовать зеннопостер или бас...

Это как вопрос.... Люди, вот машину хочу купить, подскажите что купить как опытные автовладельцы... И тут началось Увазик, Прадик, БМВ 3, Камаз
Вроде бы все посоветовали что ты просил, но у всех маши разные эксплуатационные условия.

А я хотел всеголишь по выходным в сад ездить.....

Так что только ты сможешь понять что тебе нужно, и когда ты что то пробуешь, но потом понимаешь что ты это не будешь использотьва, ЭТО НЕ БЭД, ЭТО ГУД

спасибо за развернутый ответ

 

[KlRA]

тебя интересует парсинг информации с определенного сайта или ссылок (для какой-то конкурентной разведки/формирования базы и тд)?

возьму как примера сайт https://www.instagram.com/
можно ли спарсить всех его пользователей
если да то сколько это займет времени ?

большинство парсеров можно легко написать на python. для автоматизации можешь использовать PrivateKeeper/OpenBullet (но это исходя из твоих потребностей)

есть ли готовые скрипты на гитхабе ?
если да то можно ссылку пожалуйста

 

[KlRA]

Попробуй на python написать парсер это не очень сложно если есть время на это

были бы навыки

 

[mendax]

были бы навыки

на ютубе есть канал PythonToday подробно рассказывает как и что писать и под разные задачи
как минимум тебе нужно установить какой нибудь vscode или pycharm где ты будешь писать или редактировать чей нибудь код

 

[BlameUself]

Если на JavaScript.

Скачай Node JS + Vscode.
Кидай фетч + регуляркой ищи со странице, это если что-то простое. Если сложное там есть npm пакеты, посмотри на канале Анны Кубо. Смотри примеры на GitHub.

 

[KlRA]

спасибо большое всем кто помог

 

[BLUA]

возьму как примера сайт https://www.instagram.com/
можно ли спарсить всех его пользователей
если да то сколько это займет времени ?

есть ли готовые скрипты на гитхабе ?
если да то можно ссылку пожалуйста

Ты сразу хочешь взять монстра, у которого есть хорошая защита от ботов + ещё и акаунт относительно трудно сделать. Тут ты учиться если и буешь то очень долго.

Ты возьми для начала какую нибудь доску обьявлений или ещё какой сайт, на котором не нужно регистрироваться и поиграйся с библиотеками для парсинга.

Когда поймёшь базовое, как искать элементы, как получать значение элемента, как эго складывать на жёсткий.....потом уже когда будут базовые навыки для работы с нужными тебе либами, то уже можно переходить к инстаграмму и к тому что ты узнаешь на этом этапе, подучить как пользоваться проксями в твоих скриптах, как эмулировать действия человека и дальше больше. А ты сразу хочешь с монстром сыграть в кто кого!!!