La curva ROC

Para entender el concepto de curva ROC (ROC curve, Receiver Operating Characteristic) tenemos que entender previamente cómo funciona un algoritmo de clasificación lineal como la regresión logística: A la hora de realizar una predicción, el modelo asigna una puntuación (un "score") a cada muestra del conjunto de pruebas. Este score se compara con un cierto valor límite ("threshold"). Si, para una muestra, su score es mayor que el threshold, se asigna a la clase principal. Si es menor, se asigna a la clase secundaria.

Siguiendo con el ejemplo visto relativo al Titanic, ya habíamos realizado la predicción:

Podemos ver el score que el modelo ha asignado a cada muestra con el método decision_function:

Por defecto, el threshold aplicado es 0. Podemos ver esto fácilmente viendo, del array anterior, qué valores son mayores que 0 y cuáles son menores. Hagamos esto solo para los 10 primeros valores del array anterior:

...y comparemos este resultado con los 10 primeros valores de la predicción:

Vemos que se ha predicho un resultado de 0 (el pasajero no sobrevive) para aquellas muestras (para aquellos pasajeros) cuyos scores son menores que cero.

Pues bien, este clasificador con el threshold por defecto, supone un cierto True Positive Rate y un cierto False Positive Rate. Calculémoslos:

Si extraemos los valores:

Vamos a almacenar estos valores en sendas listas para poder acceder a ellos posteriormente.

Y aquí viene lo interesante: hemos dicho que se va a comparar cada score con el threshold. Si el valor es mayor que el threshold se asigna a la clase 1 (o principal), y si es menor, a la clase 0 (o secundaria). Veamos los scores, la predicción que estos scores suponen, y el "ground truth" (el valor real de la variable objetivo) añadiendo estos tres datos a un dataframe ordenando los scores de menor a mayor:

Y mostremos ahora los scores que hay en torno al threshold de cero (se ha buscado manualmente su posición en el dataset):

Lógicamente, todas las predicciones correspondientes a scores mayores que 0 aparecen con una predicción de 1, y al revés: las predicciones correspondientes a scores menores que cero aparecen con una predicción de 0.

Vemos, sin embargo, que el verdadero valor de la variable objetivo ("truth") no coincide siempre con la predicción. Lo ideal sería que por encima del threshold solo hubiese muestras de la clase 1 (para tener un TPR de 1), así que ¿qué ocurriría si en lugar de un threshold de 0 considerásemos un threshold de 0.8? En la imagen anterior vemos que, moviendo el threshold hasta dicho valor, estaríamos pasando tres muestras cuyo valor verdadero es 0 al bloque de "predicción 0". Es decir, estaríamos mejorando el TPR de nuestro modelo (al disminuir el número de falsos negativos)... pero a costa de empeorar el FPR. Vamos a calcular estos valores. Para ello tenemos los scores, de forma que podemos realizar la predicción "a mano":

Tal y como sospechábamos, el TPR del modelo ha aumentado hasta el 96%, pero el FPR ha aumentado también (lo que significa que hay más falsos positivos que antes).

Almacenemos estos valores en las listas que habíamos creado:

Y, en el ejemplo visto, hemos aumentado el threshold hasta 0.8. Si -nuevamente, viendo los scores- disminuimos el threshold hasta -0.5, vemos que estaríamos "sacando" del bloque de muestras que recibe una predicción 0 varias muestras cuyo valor real es 1... pero también estaríamos moviendo varias muestras que ahora mismo están bien clasificadas. Es decir, estaríamos mejorando el FPR (disminuyendo el número de falsos positivos) a costa de empeorar el TPR:

Volvamos a almacenar los valores calculados:

También ahora hemos confirmado nuestras sospechas: hemos mejorado el FPR (disminuyéndolo) pero a costa de empeorar el TPR.

Llevemos a la gráfica de TPR vs. FPR las tres parejas de valores encontrados:

...gráfica que muestra exactamente las variaciones que hemos visto.

Hemos probado tres valores del threshold. Vamos a probar todos los thresholds desde el valor mínimo del score hasta el valor máximo, a ver cuál es el resultado:

Ahora ya tenemos los TPR y FPR en las listas TPRs y FPRs. Mostrémoslas en una gráfica etiquetando cada punto con el threshold al que se corresponde:

Lo que estamos viendo es exactamente la curva ROC del clasificador. Y nos da bastante información: en primer lugar nos dice que aumentando o disminuyendo lo suficiente el threshold podemos conseguir que nuestro algoritmo de clasificación alcance un TPR o un FPR casi perfecto. El único "pero" es que lo conseguiremos a costa de empeorar la otra métrica. Esto significa que, una vez creado el modelo, podemos configurarlo en función de nuestros intereses fijando un threshold u otro (para conseguir un mayor TPR o un FPR). Por otro lado, cuanto más se aproxime la gráfica al punto (0, 1), más se comportará como un clasificador ideal. En la gráfica anterior se muestra la línea diagonal que marca el comportamiento de los clasificadores que tienen tantos verdaderos positivos como falsos negativos, y tantos verdaderos negativos como falsos positivos.