模型风险与独立验证

作者：Jonas Mohamed Osman Abdelghafour，精算师及量化风险专家。

模型风险是指模型产生错误数字且公司据此行动的风险。现代银行、保险公司或养老金计划的每一项重大决策都是模型驱动的，这意味着模型风险是这些公司承担的最大两三个操作风险之一。然而，在大多数机构中，负责管理模型风险的二道防线职能往往资源不足、授权不够，且在结构上处于弱势，难以与其本应挑战的一道防线模型所有者抗衡。

本文旨在探讨如何使独立验证职能真正发挥作用，参考了 SR 11-7 (美国)、TRIM (欧洲央行) 和 SS1/23 (英国审慎监管局) —— 这三个框架共同定义了当前的全球标准。

各框架的共识远多于分歧

这三个框架是针对不同监管机构、不同机构类型及不同时代编写的 —— SR 11-7 编写于 2011 年，TRIM 指南从 2017 年开始发布，SS1/23 则是在 2023 年针对英国银行发布的。但在实质性预期上，它们几乎完全一致。

有效的挑战 (Effective challenge)。验证不是简单的复核，而是挑战。验证者的职责是尝试从模型自身的假设、校准、实施和使用等方面来推翻它。

独立性。验证者在结构上独立于模型开发人员。汇报路线、激励机制和信息获取通道都必须支持这种独立性。

基于重要性的范围 (Materiality-based scope)。验证力度与模型的重要性成正比。最重要的模型接受最深入、最频繁的验证。

持续性而非点对点。验证是一个循环，而不是一个事件。每个重要模型都有定义的重新验证节奏，以及特定的触发非周期性审查的条件。

记录发现项并追踪整改。每次验证都会产生包含严重程度、负责人和截止日期的发现项。发现项会被追踪至结案并向董事会报告。

具体的整改和追踪机制见 模型风险整改笔记。更广泛的治理背景可见于 三道防线模型治理。

验证的真实增值之处

独立验证的价值不在于捕捉技术错误 —— 那是一道防线自身质量保证的责任。其价值在于发现一道防线由于结构原因无法察觉的二阶失效。

假设漂移 (Assumption drift)。五年前基于当时合理假设构建的模型，今天可能仍在沿用这些假设。一道防线没有动力去系统地重新审查那些会对业务造成不便的假设，但验证者有。

使用与设计的错配。为某一目的设计的模型常被悄悄挪作他用，而在新用途下它可能已不再有效。例如：将定价模型用于准备金评估；将准备金评估模型用于资本计量；将压力测试模型用于日常决策。验证者基于模型台账的视角能捕捉到这些转型。

校准数据的质量。一道防线团队往往与自己的数据过于亲近，以至于无法发现系统性的质量问题。验证者拥有跨模型的视角，能发现诸如替代数据超出预定使用期限、校准样本不再代表当前投资组合等一道防线已经习以为常的模式。

加总与交互风险。没有单一的模型所有者负责当其模型输出进入另一个模型时会发生什么。验证者是少数拥有追踪这些链路并检查汇总结果是否合理的职能之一。

是什么让挑战变得有效

独立性是必要条件而非充分条件。其他几项设计选择决定了独立验证职能是能产生有效的挑战，还是仅仅产生报告。

技术深度。验证者必须至少与开发人员一样专业。如果验证职能无法根据需求从零开始重新构建一个模型 —— 使用相同的数据、相同的规格和独立的底层代码 —— 它就无法进行实质性的挑战。这是人员不足的验证职能最常见的失效模式。

直接获取数据和代码。验证者需要对数据、源代码和运行中的生产系统拥有只读访问权限。通过一道防线请求数据提取会引入过滤和延迟，削弱挑战的效果。

升级授权。一道防线存在争议的发现项必须有定义的升级路径 —— 通过模型风险委员会，报至首席风险官（CRO），直至董事会风险委员会 —— 且无需在每一步都依赖 CRO 的裁量。如果一道防线只需耗过验证者即可，那么挑战就是无效的。

独立建模能力。最强大的验证职能维持着自己的基准模型（benchmark models）—— 通常比生产模型更简单、更透明 —— 并可以针对相同的数据运行。两者的差异是聚焦挑战的诊断工具。

跨模型视角。仅审查一种模型类型的验证者会失去从全局视角进行模式识别的优势。验证团队应按定义的周期在不同模型类别间轮换审查人员。

常见失效模式

在我审查的机构中，有三种失效模式反复出现：

验证沦为文档审查。验证者接收模型文档，按照清单进行检查，并生成一份关于文档充分性的报告。这不是验证，这只是合规职能，它无法发现文档精美但模型错误的问题。

没有牙齿的发现项。发现项被提出、分类并在委员会上讨论，但该委员会没有权力强制整改。截止日期被无休止地推迟。积压的旧发现项不断累积。结果是验证职能产生的工作成果无人阅读也无人理会。

审查者被同化 (Reviewer capture)。验证者花费过多时间嵌入到一道防线中，以至于开始将一道防线的问题视为自己的问题。轮换制度、结构性距离和定期的外部评估是制衡手段。

AI组件范围界定不足。定价或信用评分链条中的机器学习组件有时被视为主要 GLM 的子模型而不进行独立验证。这是监管机构（包括金融监管和 AI 专属监管）正在积极弥补的日益扩大的差距。技术维度请参见 保险预测建模笔记，关于我如何构建混合模型验证，请参见 人工智能与量化风险服务。

董事会应该阅读的验证报告

一份董事会可以据此行动的一页纸总结，比一百页的技术附件更有价值。我使用的模式包含五个部分：

1. 目的与重要性。模型的作用、驱动的决策以及一旦出错的风险敞口。
2. 发现项摘要。按严重程度排列的发现项数量、逾期发现项，以及任何实质性影响 SCR、ECL 或定价决策的发现项。
3. 模型表现。针对实现结果的回溯测试结论、基准模型对比以及校准诊断 —— 按此顺序，使用平实的语言。
4. 新兴风险。假设漂移、数据漂移、可能在下一个验证周期内使模型失效的外部环境变化。
5. 建议。适合继续使用、有条件使用或撤销使用。这是董事会需要的结论，也是最常缺失的结论。

为什么现在这很重要

模型的使用范围正在扩大到公司更多的决策中，模型的复杂性随着机器学习和 AI 的引入而增加，监管机构对薄弱验证的耐心正在减少。能够平稳度过 2008 年危机的银行，平均而言其模型风险职能要比没有这种职能的银行好得多。能够度过下一个周期并对其 AI 增强的定价和准备金模型进行有效验证的保险公司和资产管理公司，将比那些把验证视为打勾练习的公司表现更好。

独立挑战是可用的最廉价的控制手段之一。它只需要少数高技能人才、直接获取权限和组织支持。妥善配置资源的机构是那些能在市场或监管机构之前发现模型失效的机构；而资源配置不足的机构，则是那些通过财经新闻才读到自己模型失效消息的机构。

结语

模型验证并不是一项光鲜亮丽的工作。它很少产生公司外部能看到的重大新闻。但它是少数能可靠防止特定、重大、可避免失效的风险管理控制手段之一。如果你的验证职能资源不足、结构薄弱，或者产生的发现项从未结案，修复它既不昂贵也不困难 —— 但确实需要高层支持。

如需结构化的验证评估、目标运营模型重新设计或针对单个模型的独立第二意见，请参阅 模型验证服务线 或 与我联系。