Backtesting con el Método de Fieller

Ayer venció el copyright de uno de mis papers publicados el año pasado, desarrollado en conjunto con Sebastián Maldonado de la Universidad de Los Andes (Chile). El paper se titula «Fieller Stability Measure: a novel model-dependent backtesting approach» y apareció en el Journal of the Operational Research Society en Abril de 2015. A partir de hoy el paper está disponible gratuitamente acá.

En este trabajo desarrollamos un nuevo método para hacer backtesting de nivel 0, es decir medir si los datos en los que estás aplicando el modelo siguen distribuyéndose de forma similar a los datos con los que se entrenó el modelo originalmente. Nuestro método se basa en incorporar la incerteza en la estimación de parámetros de la regresión (logística) original junto con la incerteza de los conjuntos de datos .

La idea es simple: Cuando estimamos un modelo la certeza en los parámetros depende de la calidad de los datos originales, por lo tanto cuánta variabilidad acepta el modelo en nuestros nuevos conjuntos de datos (antes de tener que recalibrar o reentrenar) debería estar relacionada a esta variabilidad. Esto lo realizamos a través de una relación entre el intervalo de confianza de los parámetros luego de estimar la regresión logística, y la incerteza en la población original dada por el intervalo de confianza entre las proporciones de las medias entre la distribución original y la nueva.

Otra ventaja del método es que permite gráficos bastante útiles, como el de abajo, para efectos de realizar el seguimiento. Esto en contrate con el Stability Index por ejemplo, el método más usado.

Fieller Stability Measure.

Variación significativa (sobre 95% de certeza) en una variable. Al comienzo el modelo es estable y luego hay un claro drift, que se hace significativo en el penúltimo trimestre.

 

Cualquier consulta sobre el método me pueden contactar por Twitter o dejar un comentario en la entrada. El método fue implementado por una de mis alumnas memoristas en un banco local, con bastante buenos resultados, así que creo que tiene su utilidad en la gestión del riesgo.

Como notas adicionales: Además de este paper, el trabajo de mi tesis de doctorado también tiene el copyright expirado, pronto haré una entrada con los detalles. ¡Sigue siendo lejos mi trabajo más extraño!

1 comentario

  1. Hola Cristian,

    Mi nombre es María Ignacia y estoy intentando aplicar la medida de Fieller para datos bancarios.
    Me surgieron algunas dudas respecto a la aplicación de este método.
    Leí su artículo Fieller Stability Measure: A novel model-dependent backtesting approach, e intente replicar el cálculo de los intervalos de confianza. Las variables con las que estoy trabajando son asimétricas hacia la izquierda (variables con valores positivos) y por tanto se genera una varianza grande.
    Mi duda es si el valor de g necesariamente tiene que moverse entre ciertos valores (0 – 1 por ejemplo) ya que la suma dentro de la raíz cuadrada me esta dando negativa.
    Debo tener algún error pero no se si es debido solo al cálculo o es debido a que las variables tienen que tener alguna condición como que su distribución sea simétrica.

    De antemano agradezco su tiempo y espero pueda aclararme mis dudas para así poder utilizar dicha metodología.

    Saludos

Deja una respuesta

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *

Este sitio usa Akismet para reducir el spam. Aprende cómo se procesan los datos de tus comentarios.