Riesgo de modelo y validación independiente

Por Jonas Mohamed Osman Abdelghafour, actuario y experto en riesgos cuantitativos.

El riesgo de modelo es el riesgo de que un modelo produzca un número equivocado y la empresa actúe en consecuencia. Cada decisión material en un banco, aseguradora o plan de pensiones moderno está impulsada por modelos, lo que significa que el riesgo de modelo es uno de los dos o tres mayores riesgos operativos que estas firmas soportan. Y, sin embargo, en la mayoría de las instituciones, la función de segunda línea que lo gestiona carece de recursos, de autoridad y está estructurada para perder discusiones con los propietarios de los modelos de la primera línea a los que debe desafiar.

Esta nota trata sobre lo que hace que una función de validación independiente funcione realmente, basándose en la SR 11-7 (EE. UU.), TRIM (BCE) y SS1/23 (PRA), los tres marcos que definen el estándar global actual.

Los marcos coinciden en más de lo que difieren

Aunque fueron escritos para diferentes reguladores y épocas, las expectativas sustantivas convergen casi por completo:

Desafío efectivo (Effective Challenge). La validación no es una revisión; es un desafío. El trabajo del validador es intentar invalidar el modelo en sus propios términos: sus hipótesis, calibración, implementación y uso.

Independencia. Los validadores son estructuralmente independientes de los desarrolladores del modelo. Las líneas de reporte, los incentivos y el acceso a la información deben respaldar esa independencia.

Alcance basado en la materialidad. El esfuerzo de validación es proporcional a la materialidad del modelo. Los modelos más importantes reciben la validación más profunda y frecuente.

Proceso continuo, no puntual. La validación es un ciclo. Cada modelo material tiene una cadencia de revalidación definida y disparadores específicos para revisiones fuera de ciclo.

Hallazgos documentados y seguimiento. Cada validación produce hallazgos con severidad, propietario y fecha límite. Los hallazgos se rastrean hasta su cierre y se informan al consejo.

Dónde añade valor la validación realmente

El valor de la validación independiente no es que detecte errores técnicos —esos son responsabilidad del control de calidad de la primera línea—. El valor es que detecta los fallos de segundo orden que la primera línea es estructuralmente incapaz de ver.

Deriva de las hipótesis (Assumption drift). Un modelo construido hace cinco años sobre hipótesis que eran razonables entonces puede seguir funcionando con ellas hoy. La primera línea no tiene incentivos para reexaminar sistemáticamente hipótesis que incomodan al negocio. El validador sí los tiene.

Desajuste entre uso y diseño. Un modelo diseñado para un propósito a menudo se reutiliza silenciosamente para otro donde ya no es válido. Modelos de tarificación usados para reservas; modelos de reservas usados para capital. El inventario del validador detecta estas transiciones.

Calidad de los datos de calibración. Los equipos de primera línea suelen estar demasiado cerca de sus propios datos para ver problemas sistémicos de calidad. El validador, con una perspectiva transversal, detecta patrones —datos proxy usados más allá de su horizonte, muestras que ya no representan la cartera— que la primera línea ha dejado de notar.

Riesgo de agregación e interacción. Ningún propietario de un único modelo es responsable de lo que sucede cuando la salida de su modelo alimenta a otro. El validador es una de las pocas funciones con el mandato de trazar esas cadenas y comprobar si el agregado produce un resultado sensato.

Qué hace que el desafío sea efectivo

La independencia es una condición necesaria pero no suficiente.

Profundidad técnica. El validador debe ser al menos tan sofisticado como el desarrollador. Una función de validación que no puede reproducir un modelo desde cero —usando los mismos datos y código independiente— no puede desafiarlo sustantivamente. Este es el fallo más común por falta de personal cualificado.

Acceso directo a datos y código. Los validadores necesitan acceso de lectura al código fuente y al sistema de producción. Solicitar extractos a través de la primera línea introduce filtros y retrasos que socavan el desafío.

Autoridad de escalada. Los hallazgos que la primera línea disputa deben tener una ruta de escalada definida (Comité de Riesgos de Modelo, CRO, Consejo) que no dependa de la discreción del CRO en cada paso. Si la primera línea puede simplemente "agotar" al revisor por cansancio, el desafío no es efectivo.

Capacidad de modelización independiente. Las mejores funciones de validación mantienen sus propios modelos de referencia (benchmark), a menudo más simples y transparentes, que ejecutan contra los mismos datos. La divergencia es el diagnóstico que enfoca el desafío.

Modos de fallo comunes

Validación como revisión de documentación. El validador revisa la documentación contra una lista de verificación. Esto no es validación. Es una función de cumplimiento que no detectará un modelo cuya documentación sea perfecta pero cuyo cálculo sea erróneo.

Hallazgos sin "dientes". Se plantean hallazgos pero el comité no tiene autoridad para exigir su remedio. Los plazos se extienden sin resistencia. El resultado es un trabajo que nadie lee y sobre el que nadie actúa.

Captura del revisor. El validador pasa tanto tiempo con la primera línea que acaba viendo sus problemas como propios. La rotación y la distancia estructural son los contrapesos necesarios.

El informe de validación que el consejo debe leer

Un resumen de una página que el consejo pueda accionar vale más que cien páginas técnicas. El patrón que utilizo tiene cinco secciones:

1. Propósito y materialidad. Qué hace el modelo y qué exposición está en riesgo si falla.
2. Resumen de hallazgos. Número de hallazgos por severidad y aquellos que afecten materialmente al capital (SCR/ECL) o a la tarificación.
3. Rendimiento del modelo. Resultados de backtesting frente a la realidad y comparación con el benchmark.
4. Riesgos emergentes. Deriva de hipótesis o cambios en el entorno externo que podrían invalidar el modelo próximamente.
5. Recomendación. Apto para uso continuado, uso con condiciones o retirar. Esta es la frase que el consejo necesita y la que más a menudo falta.

---

Conclusiones clave

• El riesgo de modelo es un riesgo operativo crítico que requiere un desafío independiente y técnicamente sofisticado.
• La validación efectiva va más allá de la documentación; requiere reproducir modelos y probar hipótesis bajo estrés.
• La deriva de hipótesis y el mal uso del diseño original son los fallos más comunes que la validación debe detectar.
• Los marcos regulatorios (SR 11-7, TRIM, SS1/23) convergen en la necesidad de independencia, materialidad y seguimiento de hallazgos.

---

Jonas Mohamed Osman Abdelghafour es actuario y experto en gobernanza de riesgos.