Освоил основную информацию для работы в Python, а какую библиотеку нужно изучить чтобы писать чекеры и парсеры и тд? Являюсь в программировании новичком, хочу продвигаться в этом деле дальше, но пока поставил свою начальную цель написать свой первый чекер и парсер, а вот что для этого нужно на Python 3 не знаю.... Заранее огромное спасибо
-
XSS.stack #1 – первый литературный журнал от юзеров форума
Выучил основы Python 3. А куда дальше?
- Автор темы iconWIN95
- Дата начала
-
- Теги
- python 3 питон чекерлогов
Попробуй с selenium поиграться
https://xss.pro/threads/62753/
https://xss.pro/threads/44616/
Frank Andrade - Курс веб-парсинга на Python: BS4, Selenium и Scrapy (2021)
Папка из Облака Mail.ru
Облако Mail.ru - это ваше персональное надёжное хранилище в интернете.
cloud.mail.ru
рекомендую к просмотру такие каналы, как pythontoday, zproger, python hub studio. Рассмотри видосы по парсингу, а далее разработай бота телеграмм. Хороший курс у последнего канала. Бот с базой данных, который парсит например какие-то цены. И тогда придет большое осонание в работе сервера, парсинга и т.д. Удачи в разработке !
Изучи библиотеки bs4 + requests
Да пиши код как и все элитные кодеры - запросами в стокаверфлоуууу
Они только и делают что ищут код, потом разбирают его сами, что то поправят, что то удалят, что то добавят, что то изменят и вуаля - софт готов.
Они только и делают что ищут код, потом разбирают его сами, что то поправят, что то удалят, что то добавят, что то изменят и вуаля - софт готов.
стаковерфлоу уже устарел, сейчас в моде chatgpt
А уж если комбинировать. Год лайк
для парсинга подойдут эти либы: bs4, requests, aiohttp, selenium, fake-useragent ( не обязательная либа, из неё нужна всего 1 функция ).
bs4 - либа парсер, считай ядро твоего парсера.
requests / aiohttp - либы для связи с сайтом с которого собираешься что то парсить.
selenium - к ней нужен драйвер ( нужен для обхода cloudflare и для эмитирования реального пользователя, а не бота или для отработки js скриптов сайта ).
fake-useragent - создаёт рандомный User-Agent.
Остальное уже можешь посмотреть в гугле, там много информации по этому поводу.
request
вот что чат gpt тебе ответил))
Привет! Для написания чекеров и парсеров на Python рекомендуется использовать библиотеку BeautifulSoup. Она предоставляет удобный интерфейс для работы с HTML- и XML-данными.
Для начала работы с BeautifulSoup необходимо установить ее с помощью pip. Откройте терминал и выполните следующую команду:
Copy code
pip install beautifulsoup4
После установки библиотеки можно начинать работу. Приведу простой пример парсинга HTML-страницы:
pythonCopy code
from bs4 import BeautifulSoup
import requests
url = 'https://www.example.com'
response = requests.get(url)
soup = BeautifulSoup(response.text, 'html.parser')
print(soup.title.string)
В этом примере мы получаем заголовок страницы по ее URL-адресу. Мы отправляем запрос на сервер с помощью библиотеки requests, получаем HTML-код страницы и передаем его в объект BeautifulSoup. Затем мы выводим заголовок страницы, используя метод string для получения его содержимого.
Для написания чекеров можно использовать стандартную библиотеку Python, например, модуль re для работы с регулярными выражениями. Для парсинга структурированных данных, таких как JSON, можно использовать модуль json.
Надеюсь, это поможет вам начать работу с чекерами и парсерами на Python. Удачи!
Привет! Для написания чекеров и парсеров на Python рекомендуется использовать библиотеку BeautifulSoup. Она предоставляет удобный интерфейс для работы с HTML- и XML-данными.
Для начала работы с BeautifulSoup необходимо установить ее с помощью pip. Откройте терминал и выполните следующую команду:
Copy code
pip install beautifulsoup4
После установки библиотеки можно начинать работу. Приведу простой пример парсинга HTML-страницы:
pythonCopy code
from bs4 import BeautifulSoup
import requests
url = 'https://www.example.com'
response = requests.get(url)
soup = BeautifulSoup(response.text, 'html.parser')
print(soup.title.string)
В этом примере мы получаем заголовок страницы по ее URL-адресу. Мы отправляем запрос на сервер с помощью библиотеки requests, получаем HTML-код страницы и передаем его в объект BeautifulSoup. Затем мы выводим заголовок страницы, используя метод string для получения его содержимого.
Для написания чекеров можно использовать стандартную библиотеку Python, например, модуль re для работы с регулярными выражениями. Для парсинга структурированных данных, таких как JSON, можно использовать модуль json.
Надеюсь, это поможет вам начать работу с чекерами и парсерами на Python. Удачи!
Тут на самом деле даже chatgpt и не нужен, использование bs4, requests / aiohttp это дефолт модули для любого парсера, для обхода cloudflare и для отработки js скриптов уже можно добавить selenium.
Иногда вот это помогает, чтобы клауд победить
GitHub - ultrafunkamsterdam/undetected-chromedriver: Custom Selenium Chromedriver | Zero-Config | Passes ALL bot mitigation systems (like Distil / Imperva/ Datadadome / CloudFlare IUAM)
Custom Selenium Chromedriver | Zero-Config | Passes ALL bot mitigation systems (like Distil / Imperva/ Datadadome / CloudFlare IUAM) - GitHub - ultrafunkamsterdam/undetected-chromedriver: Custom Se...
github.com
Не сказал бы, requests синхронная либа и всегда её была, есть также aiohttp, она уже асинхронная. Устареть они могут только если бы не поддерживали связь с каким либо версиями HTTP или с версиями SSL, а то что она старая это даже + потому что уже проверена временем.