Какие ошибки нужно обработать при больших количествах запросов?

[CheckData]

Какие ошибки нужно обработать при больших количествах запросов при работе без прокси. У меня есть парсер, которые делает много запрос и если выйдет ошибка, то нужно добавить в файл recheck.txt. Использую aiohttp. Понятное дело, если работаешь с прокси там proxyconnection error обрабатываешь, а если на прямую без прокси, что обработать? Connection, refused err может возникать, если сайт вообще не работает, а какая ошибка отвечает, если соединение было разорвано из за какой либо нагрузки?

 

[ГошаМарков]

если работаешь с прокси там proxyconnection error обрабатываешь, а если на прямую без прокси, что обработать?

при работе через прокси, ты должен обрабатывать все ошибки которые возмонжны при обычном подключении + ошибки прокси)
если сервис будет недоступен, у тебя proxyconnection не вывалиться.

если соединение было разорвано из за какой либо нагрузки?

По идеи, отвалиться по таймауту

 

[ExtShell]

Делай глобальные except и return true при правильном результате, всё что не вернуло True пиши в файл. Обработать правильно все ошибки тебе будет очень сложно, есть очень заковыристые, типа TooManyRedirects.

 

[CheckData]

при работе через прокси, ты должен обрабатывать все ошибки которые возмонжны при обычном подключении + ошибки прокси)
если сервис будет недоступен, у тебя proxyconnection не вывалиться.


По идеи, отвалиться по таймауту

Делай глобальные except и return true при правильном результате, всё что не вернуло True пиши в файл. Обработать правильно все ошибки тебе будет очень сложно, есть очень заковыристые, типа TooManyRedirects.

Спасибо ребята

 

[tonny_gram]

если выйдет ошибка, то нужно добавить в файл recheck.txt

try:
    pass
    # тут твой основной код, в котором могут быть ошибки
except ConnectionError:
    print('Ошибка ConnectionError')
except Exception as ex:
    # Тут будут отлавливаться все остальные ошибки
    # Можешь удалить сверху блок ConnectionError и добавить сюда сохранение в файл recheck.txt
    print(f'Неизвестная ошибка: {ex}')
else:
    # Этот код будет выполнен, если ошибок не было
    print('Ошибок не было')
finally:
    # этот код будет выполнен в любом случае
    print('Завершение работы')

если на прямую без прокси, что обработать

Exception обрабатывай и все. Можешь удалить все остальные (ConnectionError и т.п.).