Risque de Modèle & Validation Indépendante

Par Jonas Mohamed Osman Abdelghafour, actuaire et expert en risques quantitatifs.

Le risque de modèle est le risque qu'un modèle produise un chiffre erroné et que l'entreprise agisse en conséquence. Chaque décision matérielle dans une banque, un assureur ou un fonds de pension moderne est pilotée par des modèles, ce qui signifie que le risque de modèle est l'un des deux ou trois plus grands risques opérationnels portés par ces institutions. Pourtant, dans la plupart des organisations, la fonction de seconde ligne qui le gère manque de ressources, de pouvoir et est structurellement configurée pour perdre ses arbitrages face aux propriétaires de modèles de première ligne qu'elle est censée challenger.

Cette note traite de ce qui rend une fonction de validation indépendante réellement efficace, en s'appuyant sur la SR 11-7 (États-Unis), le TRIM (BCE) et la SS1/23 (PRA) — les trois cadres qui définissent ensemble le standard mondial actuel.

Les cadres s'accordent sur l'essentiel

Ces trois cadres ont été rédigés pour différents régulateurs, types d'institutions et époques — SR 11-7 en 2011, les orientations du TRIM à partir de 2017, la SS1/23 pour les banques britanniques en 2023. Sur le fond, les attentes convergent presque totalement.

Challenge efficace. La validation n'est pas une simple revue ; c'est un challenge. Le rôle du validateur est de tenter d'invalider le modèle selon ses propres termes — ses hypothèses, son étalonnage, sa mise en œuvre et son utilisation.

Indépendance. Les validateurs sont structurellement indépendants des concepteurs de modèles. Les lignes hiérarchiques, les incitations et l'accès à l'information doivent tous soutenir cette indépendance.

Périmètre basé sur la matérialité. L'effort de validation est proportionnel à la matérialité du modèle. Les modèles les plus importants font l'objet de la validation la plus approfondie et la plus fréquente.

Processus continu. La validation est un cycle, pas un événement ponctuel. Chaque modèle matériel a une fréquence de revalidation définie et des déclencheurs spécifiques pour une revue hors cycle.

Constats documentés et suivi des remédiations. Chaque validation produit des constats avec un niveau de sévérité, un propriétaire et une échéance. Les constats sont suivis jusqu'à leur clôture et font l'objet d'un rapport au conseil d'administration.

La mécanique de remédiation et de suivi est détaillée dans la note sur la remédiation du risque de modèle. Le contexte de gouvernance plus large se trouve dans l'article sur les trois lignes de défense.

Où la validation apporte réellement de la valeur

La valeur de la validation indépendante n'est pas de détecter des erreurs techniques — celles-ci relèvent de l'assurance qualité de la première ligne. Sa valeur est de détecter les défaillances de second ordre que la première ligne est structurellement incapable de voir.

Dérive des hypothèses. Un modèle construit il y a cinq ans sur des hypothèses raisonnables à l'époque peut encore fonctionner sur ces mêmes bases aujourd'hui. La première ligne n'est pas incitée à réexaminer systématiquement des hypothèses qui pourraient gêner l'activité commerciale. Le validateur, lui, l'est.

Inadéquation entre utilisation et conception. Un modèle conçu pour un usage donné est souvent réutilisé discrètement pour un autre usage où il n'est plus valide. Modèles de tarification utilisés pour le provisionnement. Modèles de provisionnement utilisés pour le capital. Modèles de stress test utilisés pour les décisions de gestion courante. L'inventaire tenu par le validateur permet de détecter ces dérives.

Qualité des données d'étalonnage. Les équipes de première ligne sont souvent trop proches de leurs propres données pour voir les problèmes de qualité systémique. Le validateur, avec sa perspective transversale, repère les schémas — données proxies utilisées au-delà de l'horizon prévu, échantillons d'étalonnage qui ne représentent plus le portefeuille actuel — que la première ligne ne remarque plus.

Risque d'agrégation et d'interaction. Aucun propriétaire de modèle n'est responsable de ce qui se passe lorsque la sortie de son modèle alimente un autre modèle. Le validateur est l'une des rares fonctions mandatées pour tracer ces chaînes et vérifier si l'agrégat produit un résultat cohérent.

Ce qui rend le challenge efficace

L'indépendance est une condition nécessaire mais non suffisante. Plusieurs autres choix de conception déterminent si une fonction de validation produit un véritable challenge ou simplement des rapports.

Profondeur technique. Le validateur doit être au moins aussi sophistiqué que le développeur. Une fonction de validation incapable de reproduire un modèle de zéro sur demande — en utilisant les mêmes données, les mêmes spécifications et un code indépendant — ne peut pas le challenger sur le fond. C'est le mode de défaillance le plus courant des fonctions sous-dimensionnées.

Accès direct aux données et au code. Les validateurs ont besoin d'un accès en lecture aux données, au code source et au système de production. Demander des extractions via la première ligne introduit des filtres et des délais qui nuisent à l'efficacité du challenge.

Autorité d'escalade. Les constats contestés par la première ligne doivent avoir une voie d'escalade définie — via le comité de risque de modèle, vers le CRO, puis vers le comité de risque du conseil — qui ne dépend pas uniquement de la discrétion du CRO à chaque étape. Là où la première ligne peut simplement épuiser le validateur, le challenge n'est pas effectif.

Capacité de modélisation indépendante. Les fonctions de validation les plus solides maintiennent leurs propres modèles de référence — souvent plus simples et transparents que le modèle de production — qu'elles peuvent exécuter sur les mêmes données. La divergence entre les deux est un diagnostic qui oriente le challenge.

Perspective transversale. Un validateur qui ne revoit qu'un seul type de modèle perd l'avantage de la reconnaissance de formes qui vient d'une vision globale du parc de modèles. Les équipes de validation devraient faire tourner les réviseurs sur différentes classes de modèles selon un cycle défini.

Modes de défaillance courants

Trois modes de défaillance sont récurrents dans les institutions que j'examine.

La validation comme revue documentaire. Le validateur reçoit la documentation, la vérifie par rapport à une liste de contrôle et produit un rapport sur son adéquation. Ce n'est pas de la validation. C'est une fonction de conformité qui ne détectera pas un modèle dont la documentation est soignée mais dont le calcul est faux.

Des constats sans dents. Des constats sont levés, catégorisés et présentés à un comité qui n'a pas l'autorité nécessaire pour imposer une remédiation. Les échéances sont prolongées sans résistance. Les constats anciens s'accumulent. Le résultat est une fonction de validation qui produit des livrables que personne ne lit et sur lesquels personne n'agit.

Capture du réviseur. Le validateur passe tellement de temps immergé dans la première ligne qu'il finit par voir ses problèmes comme les siens. La rotation, la distance structurelle et les revues externes périodiques sont les contrepoids nécessaires.

Sous-estimation des composantes IA. Les composants d'apprentissage automatique au sein d'une chaîne de tarification ou de notation de crédit sont parfois traités comme des sous-modèles du GLM principal et non validés pour eux-mêmes. C'est une lacune que les régulateurs — tant financiers que spécifiques à l'IA — comblent activement. Voir la note sur la modélisation prédictive pour la dimension technique et le service IA et risque quantitatif pour la structure de validation des modèles hybrides.

Le rapport de validation que le conseil devrait lire

Un résumé d'une page sur lequel le conseil peut agir vaut plus que cent pages d'annexes techniques. Le modèle que j'utilise comporte cinq sections :

1. Objectif et matérialité. Ce que fait le modèle, quelles décisions il pilote et l'exposition au risque s'il se trompe.
2. Résumé des constats. Nombre de constats par sévérité, constats en retard et tout point affectant matériellement le capital (SCR), les pertes attendues (ECL) ou les décisions tarifaires.
3. Performance du modèle. Résultats des tests rétrospectifs contre les réalisations, comparaison avec le modèle de référence et diagnostics d'étalonnage — dans cet ordre, en langage clair.
4. Risques émergents. Dérive des hypothèses, dérive des données, changements de l'environnement externe qui pourraient invalider le modèle d'ici le prochain cycle.
5. Recommandation. Apte à l'usage, usage sous conditions, ou retrait. C'est la phrase dont le conseil a besoin et c'est celle qui est le plus souvent absente.

Pourquoi c'est important maintenant

L'utilisation des modèles s'étend à un plus grand nombre de décisions, leur complexité s'accroît avec l'apprentissage automatique et l'IA, et la patience des régulateurs face à une validation faible s'amenuise. Les banques qui ont traversé la crise de 2008 avec des fonctions de risque de modèle opérationnelles étaient, en moyenne, dans une situation bien meilleure que les autres. Les assureurs et gestionnaires d'actifs qui traverseront le prochain cycle avec une validation efficace de leurs modèles de tarification et de provisionnement augmentés par l'IA seront mieux armés que ceux qui traitent la validation comme une simple case à cocher.

Le challenge indépendant est l'un des contrôles les moins coûteux disponibles. Il nécessite un petit nombre de personnes qualifiées, un accès direct et un soutien organisationnel. Les institutions qui le dotent de ressources appropriées sont celles qui détectent les défaillances de modèles avant le marché ou le régulateur. Celles qui le sous-dotent sont celles qui découvrent leurs propres erreurs dans la presse financière.

Conclusion

La validation de modèle n'est pas un travail glamour. Elle produit rarement des nouvelles visibles à l'extérieur de l'entreprise. Mais c'est l'un des rares contrôles de gestion des risques qui prévient de manière fiable des défaillances spécifiques, matérielles et évitables. Si votre fonction de validation manque de ressources, est structurellement faible ou produit des constats qui ne sont jamais clos, la solution n'est ni coûteuse ni difficile — mais elle nécessite un appui de la direction.

Pour des revues de validation structurées, la refonte de modèles opérationnels cibles ou des seconds avis indépendants sur des modèles individuels, consultez le service de validation de modèles ou contactez-moi.