На потоке какие-то сайты при чеke robots.txt нормально проходит, а не которые выдает 405-404 ошибки .
например я получаю 405 ответ при запросе robots_txt = requests.post(r 'https://2ip.ru/robots.txt' )
Почему так происходит? Если можно поподробнее для чайничков)
например я получаю 405 ответ при запросе robots_txt = requests.post(r 'https://2ip.ru/robots.txt' )
Почему так происходит? Если можно поподробнее для чайничков)