В машинном обучении оценка производительности является важной задачей. Поэтому, когда дело доходит до проблемы классификации, мы можем рассчитывать на кривую AUC - ROC. Когда нам нужно проверить или визуализировать производительность задачи классификации нескольких классов, мы используем кривую AUC (Область под кривой) ROC (Рабочие характеристики приемника). Это один из наиболее важных показателей оценки для проверки производительности любой модели классификации. Он также записывается как AUROC (Область под рабочей характеристикой приемника)
Примечание: для лучшего понимания я предлагаю вам прочитать мою статью о Матрице замешательства .
Кривая AUC - ROC - это оценка производительности для задачи классификации при различных настройках порогов. ROC - это кривая вероятности, а AUC - степень или мера отделимости. Чем выше AUC, тем лучше модель при прогнозировании 0 с 0 и 1 с 1. По аналогии, чем выше AUC, тем лучше модель для различения пациентов с "болезнью и без болезни" (С нулями, единицами и т.д).
Кривая ROC строится с TPR относительно FPR, где TPR находится на оси y, а FPR на оси x.
AUC - ROC Curve [Изображение 1]
Определение терминов, используемых в кривой AUC и ROC.
TPR (Истинная положительная оценка)/ Отзыв/Чувствительность
[Изображение 2]
Специфичость
[Изображение 3]
FPR
[Изображение 3]
Отличная модель имеет AUC близкий к единице, что означает, что она имеет хорошую меру отделимости. Плохая модель AUC близка к нулю, что означает, что она имеет худшую меру отделимости. Он предсказывает 0s как 1s и 1s как 0s. И когда AUC составляет 0,5, это означает, что модель не имеет никакой способности разделения классов.
Давайте интерпретировать приведенные выше утверждения.
Как известно, ROC является кривой вероятности. Итак, давайте построим распределения этих вероятностей:
Примечание. Красная кривая распределения относится к положительному классу ("Пациенты с заболеванием (Близкие к единице)"), а зеленая кривая распределения относится к отрицательному классу ("Пациенты без заболеваний (Близкие к нулю)").
[Изображения 5 и 6]
Это идеальная ситуация. Когда две кривые вообще не перекрываются, значит, модель имеет идеальную меру отделимости. Она прекрасно умеет различать положительный класс от отрицательного.
[Изображения 7 и 8]
Когда два распределения перекрываются, мы вводим ошибки типа 1 и 2. В зависимости от порога мы можем минимизировать или максимизировать их. Когда AUC составляет 0,7, это означает, что есть вероятность того, что модель сможет отличить положительный класс от отрицательного.
[Изображение 9 и 10]
Это худшая ситуация. Когда AUC составляет приблизительно 0,5, модель не обладает способностью различать положительный и отрицательный класс.
[Изображения 11 и 12]
Когда AUC составляет приблизительно 0, модель фактически отвечает взаимностью. Это означает, что модель предсказывает отрицательный класс как положительный класс и наоборот.
Связь между чувствительностью, специфичностью, FPR и порогом.
Чувствительность и Специфика обратно пропорциональны друг другу. Поэтому, когда мы увеличиваем чувствительность, специфичность уменьшается, и наоборот.
Чувствительность⬆, Специфичность⬇ и Чувствительность⬇, Специфичность⬆
Когда мы уменьшаем порог, мы получаем больше положительных значений, что увеличивает чувствительность и снижает специфичность.
Точно так же, когда мы увеличиваем порог, мы получаем больше отрицательных значений, таким образом, мы получаем более высокую специфичность и более низкую чувствительность.
Как известно FPR 1 - специфичность. Поэтому, когда мы увеличиваем TPR, FPR также увеличивается и наоборот.
TPR⬆, FPR⬆ и TPR⬇, FPR⬇
Как использовать кривую AUC ROC для мультиклассовой модели?
В мультиклассовой модели мы можем построить N число кривых AUC ROC для N числовых классов, используя методологию One vs ALL. Например, если у вас есть три класса с именами X, Y и Z, у вас будет один ROC для X, классифицированный по Y и Z, другой ROC для Y, классифицированный по X и Z, и третий из Z, классифицированный по Y и X. (???)
Спасибо за прочтение данной статьи и хорошего дня!
neopaket
Оригинальная статья: https://towardsdatascience.com/understanding-auc-roc-curve-68b2303cc9c5
Примечание: для лучшего понимания я предлагаю вам прочитать мою статью о Матрице замешательства .
1. Что такое кривая AUC - ROC?
2. Определение терминов, используемых в кривой AUC и ROC.
3. Как спекулировать производительностью модели?
4. Связь между чувствительностью, специфичностью, FPR и предел.
5. Как использовать кривую AUC - ROC для мультиклассовой модели?
Что такое кривая AUC - ROC?Кривая AUC - ROC - это оценка производительности для задачи классификации при различных настройках порогов. ROC - это кривая вероятности, а AUC - степень или мера отделимости. Чем выше AUC, тем лучше модель при прогнозировании 0 с 0 и 1 с 1. По аналогии, чем выше AUC, тем лучше модель для различения пациентов с "болезнью и без болезни" (С нулями, единицами и т.д).
Кривая ROC строится с TPR относительно FPR, где TPR находится на оси y, а FPR на оси x.
AUC - ROC Curve [Изображение 1]
Определение терминов, используемых в кривой AUC и ROC.
TPR (Истинная положительная оценка)/ Отзыв/Чувствительность
[Изображение 2]
Специфичость
[Изображение 3]
FPR
[Изображение 3]
Отличная модель имеет AUC близкий к единице, что означает, что она имеет хорошую меру отделимости. Плохая модель AUC близка к нулю, что означает, что она имеет худшую меру отделимости. Он предсказывает 0s как 1s и 1s как 0s. И когда AUC составляет 0,5, это означает, что модель не имеет никакой способности разделения классов.
Давайте интерпретировать приведенные выше утверждения.
Как известно, ROC является кривой вероятности. Итак, давайте построим распределения этих вероятностей:
Примечание. Красная кривая распределения относится к положительному классу ("Пациенты с заболеванием (Близкие к единице)"), а зеленая кривая распределения относится к отрицательному классу ("Пациенты без заболеваний (Близкие к нулю)").
[Изображения 5 и 6]
Это идеальная ситуация. Когда две кривые вообще не перекрываются, значит, модель имеет идеальную меру отделимости. Она прекрасно умеет различать положительный класс от отрицательного.
[Изображения 7 и 8]
Когда два распределения перекрываются, мы вводим ошибки типа 1 и 2. В зависимости от порога мы можем минимизировать или максимизировать их. Когда AUC составляет 0,7, это означает, что есть вероятность того, что модель сможет отличить положительный класс от отрицательного.
[Изображение 9 и 10]
Это худшая ситуация. Когда AUC составляет приблизительно 0,5, модель не обладает способностью различать положительный и отрицательный класс.
[Изображения 11 и 12]
Когда AUC составляет приблизительно 0, модель фактически отвечает взаимностью. Это означает, что модель предсказывает отрицательный класс как положительный класс и наоборот.
Связь между чувствительностью, специфичностью, FPR и порогом.
Чувствительность и Специфика обратно пропорциональны друг другу. Поэтому, когда мы увеличиваем чувствительность, специфичность уменьшается, и наоборот.
Чувствительность⬆, Специфичность⬇ и Чувствительность⬇, Специфичность⬆
Когда мы уменьшаем порог, мы получаем больше положительных значений, что увеличивает чувствительность и снижает специфичность.
Точно так же, когда мы увеличиваем порог, мы получаем больше отрицательных значений, таким образом, мы получаем более высокую специфичность и более низкую чувствительность.
Как известно FPR 1 - специфичность. Поэтому, когда мы увеличиваем TPR, FPR также увеличивается и наоборот.
TPR⬆, FPR⬆ и TPR⬇, FPR⬇
Как использовать кривую AUC ROC для мультиклассовой модели?
В мультиклассовой модели мы можем построить N число кривых AUC ROC для N числовых классов, используя методологию One vs ALL. Например, если у вас есть три класса с именами X, Y и Z, у вас будет один ROC для X, классифицированный по Y и Z, другой ROC для Y, классифицированный по X и Z, и третий из Z, классифицированный по Y и X. (???)
Спасибо за прочтение данной статьи и хорошего дня!
neopaket
Оригинальная статья: https://towardsdatascience.com/understanding-auc-roc-curve-68b2303cc9c5
Последнее редактирование: