Ayer venció el copyright de uno de mis papers publicados el año pasado, desarrollado en conjunto con Sebastián Maldonado de la Universidad de Los Andes (Chile). El paper se titula «Fieller Stability Measure: a novel model-dependent backtesting approach» y apareció en el Journal of the Operational Research Society en Abril de 2015. A partir de hoy el paper está disponible gratuitamente acá.

En este trabajo desarrollamos un nuevo método para hacer backtesting de nivel 0, es decir medir si los datos en los que estás aplicando el modelo siguen distribuyéndose de forma similar a los datos con los que se entrenó el modelo originalmente. Nuestro método se basa en incorporar la incerteza en la estimación de parámetros de la regresión (logística) original junto con la incerteza de los conjuntos de datos .

La idea es simple: Cuando estimamos un modelo la certeza en los parámetros depende de la calidad de los datos originales, por lo tanto cuánta variabilidad acepta el modelo en nuestros nuevos conjuntos de datos (antes de tener que recalibrar o reentrenar) debería estar relacionada a esta variabilidad. Esto lo realizamos a través de una relación entre el intervalo de confianza de los parámetros luego de estimar la regresión logística, y la incerteza en la población original dada por el intervalo de confianza entre las proporciones de las medias entre la distribución original y la nueva.

Otra ventaja del método es que permite gráficos bastante útiles, como el de abajo, para efectos de realizar el seguimiento. Esto en contrate con el Stability Index por ejemplo, el método más usado.

Fieller Stability Measure.

Variación significativa (sobre 95% de certeza) en una variable. Al comienzo el modelo es estable y luego hay un claro drift, que se hace significativo en el penúltimo trimestre.

 

Cualquier consulta sobre el método me pueden contactar por Twitter o dejar un comentario en la entrada. El método fue implementado por una de mis alumnas memoristas en un banco local, con bastante buenos resultados, así que creo que tiene su utilidad en la gestión del riesgo.

Como notas adicionales: Además de este paper, el trabajo de mi tesis de doctorado también tiene el copyright expirado, pronto haré una entrada con los detalles. ¡Sigue siendo lejos mi trabajo más extraño!

Hace algunas semanas aparecí en El Mercurio y en el Diario Financiero hablando sobre Big Data, Data Science, y los desafíos que Chile enfrentará en el área. Este es un pequeño resumen.

En Chile Tecnológico (El Mercurio), la entrevista se enfocó en la productividad que trae el uso de Data Science en las operaciones, qué industrias están más desarrolladas en Chile, y qué puede hacer una pequeña y mediana empresa para comenzar a utilizar este tipo de tecnologías. Este es el link al reportaje.

En Diario Financiero comentamos, junto a otros profesionales del área, sobre el valor agregado de usar Data Science en empresas, sobre el déficit de profesionales que habrá en el área, y qué se puede hacer para ello. El Instituto Sistemas Complejos de Ingeniería ha facilitado una copia offline de este reportaje acá.