from requests_html import HTMLSession
session = HTMLSession()
session.proxies = { 'http': 'socks5h://<proxy>', 'https': 'socks5h://<proxy>' }
session.headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:63.0) Gecko/20100101 Firefox/63.0' }
request = session.get(<url>)
session.close()
request.html.render() # драйвер для JS
request.html.html #Получаем контент)
import cfscrape
scraper = cfscrape.create_scraper() # returns a CloudflareScraper instance
# Or: scraper = cfscrape.CloudflareScraper() # CloudflareScraper inherits from requests.Session
print scraper.get("http://somesite.com").content # => "<!DOCTYPE html><html><head>..."Я пользовался python модулем cfscrape.
GitHub - Anorov/cloudflare-scrape: A Python module to bypass Cloudflare's anti-bot page.
A Python module to bypass Cloudflare's anti-bot page. - Anorov/cloudflare-scrapegithub.com
Код:import cfscrape scraper = cfscrape.create_scraper() # returns a CloudflareScraper instance # Or: scraper = cfscrape.CloudflareScraper() # CloudflareScraper inherits from requests.Session print scraper.get("http://somesite.com").content # => "<!DOCTYPE html><html><head>..."
def math_slove(self, slove):
res = 0
for i in slove:
if i == '1':
res = res + 1
return res
def solve_challenge(self, challenge):
rand_words = re.search(r's,t,o,p,b,r,e,a,k,i,n,g,f, ([^\=]*)\=\{\"([^\"]*)', challenge)
rnd1, rand2 = rand_words.group(1), rand_words.group(2)
sings = re.findall('{}.{}([\*\-\+])'.format(rnd1,rand2), challenge)
brackets = re.findall(rnd1 + '\=\{\"'+rand2+'\"\:([\[\]\(\)\!\+]*)\}\;', challenge)
brackets += re.findall('{}.{}[\W]=([\[\]\(\)\!\+]*)'.format(rnd1,rand2), challenge)
numbers = []
for i in brackets:
i = i.replace('!![]','1')
i = i.replace('![]','-1')
i = i.replace('!+[]','1')
i = i.replace('!!+[]','-1')
i = i.replace('+[]','+0')
i = i.split(')+(')
res = ''
res_int = 0
for j in i:
j = j.replace('(', '')
j = j.replace(')', '')
try:
res = res + str(self.math_slove(j))
except SyntaxError:
return None
numbers.append(res)
for i in range(len(numbers)):
if i == 0:
res = int(numbers[i])
else:
if sings[i-1] == '+':
res = res + int(numbers[i])
if sings[i-1] == '*':
res = res * int(numbers[i])
if sings[i-1] == '-':
res = res - int(numbers[i])
return res
def cloudflare_bypass(self, r):
body = r.text
scheme = re.search(r'^([\w]*)', r.url).group(1)
domain = re.search(r'\/\/([^\/]*)', r.url).group(1)
submit_url = '{}://{}/cdn-cgi/l/chk_jschl'.format(scheme, domain)
jschl_vc = re.search(r'name="jschl_vc" value="(\w+)"', body).group(1)
pas = re.search(r'name="pass" value="(.+?)"', body).group(1)
jschl_answer = str(self.solve_challenge(body) + len(domain))
time.sleep(5)
return '{0}?jschl_vc={1}&pass={2}&jschl_answer={3}'.format(submit_url, jschl_vc, pas, jschl_answer)и смысл? либа для обхода андератак мода. ЛИБА, НО НЕ ГОТОВЫЙ СКРИПТ. есть большое кол-во готовых скриптов, которые обходят кф и находят реал айпи ?
request = session.get(github.com)
NameError: name 'github' is not definedС точки зрения интерпретатора, как это выглядит, как ты считаешь?
Просто тут дело даже не в пайтоне. Даже те, кто ни разу на нем не писал, но писал хоть на каком то яп - найдут ошибку
кавычки
Если у Клоуда настроен только редирект после 5 секунд, а не проверка на валидность хедеров и тд, то cfscrape рил помогает. А так проверки на браузер щас обхожу с селениумом и с правильными хедерами вместе с CF куками.
