Риск моделей и независимая валидация

Автор: Jonas Mohamed Osman Abdelghafour, актуарий и эксперт по количественным рискам.

Риск модели — это риск того, что модель выдаст неверный результат, а компания примет его в работу. Каждое важное решение в современном банке, страховой компании или пенсионном фонде принимается на основе моделей, что означает, что риск моделей является одним из двух-трёх крупнейших операционных рисков, которые несут эти фирмы. И тем не менее, в большинстве организаций функция второй линии, управляющая этим риском, недофинансирована, не имеет достаточных полномочий и структурно настроена так, чтобы проигрывать споры владельцам моделей из первой линии, которых она должна проверять.

Эта заметка о том, что заставляет функцию независимой валидации действительно работать, опираясь на SR 11-7 (США), TRIM (ЕЦБ) и SS1/23 (PRA) — три базы, которые вместе определяют текущий глобальный стандарт.

Рамки регулирования согласуются в главном

Три базы были написаны для разных регуляторов, разных типов институтов и разных эпох — SR 11-7 в 2011 году, руководство TRIM с 2017 года, SS1/23 для банков Великобритании в 2023 году. По существу ожиданий они почти полностью совпадают.

Эффективный вызов (effective challenge). Валидация — это не обзор; это вызов. Работа рецензента — попытаться аннулировать модель на её собственных условиях — её предположениях, калибровке, реализации и использовании.

Независимость. Валидаторы структурно независимы от разработчиков моделей. Линии подчинения, стимулы и доступ к информации должны поддерживать эту независимость.

Область охвата на основе существенности. Усилия по валидации пропорциональны существенности модели. Самые важные модели проходят самую глубокую и частую валидацию.

Непрерывность, а не «точка во времени». Валидация — это цикл, а не событие. Каждая существенная модель имеет определённую периодичность перевалидации и специфические триггеры для внеочередного обзора.

Задокументированные выводы, отслеживаемое устранение. Каждая валидация выдаёт выводы с оценкой тяжести, владельцем и дедлайном. Выводы отслеживаются до закрытия и докладываются совету директоров.

Где валидация действительно создаёт ценность

Ценность независимой валидации не в том, что она ловит технические ошибки — это ответственность обеспечения качества самой первой линии. Ценность в том, что она ловит сбои второго порядка, которые первая линия структурно неспособна увидеть.

Дрейф предположений. Модель, созданная пять лет назад на предположениях, которые были разумны в то время, может всё ещё работать на этих предположениях сегодня. У первой линии нет стимула систематически пересматривать предположения, которые неудобны для бизнеса. У валидатора — есть.

Несоответствие использования и дизайна. Модель, разработанная для одной цели, часто незаметно перепрофилируется для другой, где она больше не валидна. Ценовые модели используются для резервирования. Резервные модели используются для капитала. Модели стресс-тестирования используются для решений BAU (текущей деятельности). Взгляд валидатора, основанный на инвентаризации, ловит эти переходы.

Качество данных калибровки. Команды первой линии часто слишком близки к своим данным, чтобы видеть системные проблемы качества. Валидатор, имея кросс-модельный взгляд, замечает закономерности — использование прокси-данных за пределами намеченного горизонта, выборки калибровки, которые больше не представляют текущий портфель — которые первая линия перестала замечать.

Риск агрегации и взаимодействия. Ни один владелец модели не отвечает за то, что происходит, когда результат работы его модели питает другую модель. Валидатор — одна из немногих функций, имеющих мандат отслеживать эти цепочки и проверять, даёт ли агрегат разумный результат.

Что делает вызов эффективным

Независимость — необходимое, но недостаточное условие. Несколько других дизайнерских решений определяют, производит ли функция независимой валидации эффективный вызов или просто делает отчёты.

Техническая глубина. Валидатор должен быть как минимум таким же опытным, как разработчик. Функция валидации, которая не может воспроизвести модель с нуля по требованию — используя те же данные, ту же спецификацию и независимый код — не может её существенно оспорить. Это самый распространённый способ провала недоукомплектованных функций валидации.

Прямой доступ к данным и коду. Валидаторам нужен доступ на чтение к данным, исходному коду и рабочей производственной системе. Запрос выгрузок через первую линию вводит фильтры и задержки, которые подрывают вызов.

Полномочия на эскалацию. Выводы, которые оспаривает первая линия, должны иметь определённый путь эскалации — через комитет по риску моделей, к CRO, в комитет по рискам совета директоров — который не требует усмотрения CRO на каждом шаге. Если первая линия может просто «пересидеть» рецензента, вызов неэффективен.

Независимая способность моделирования. Сильнейшие функции валидации поддерживают свои собственные эталонные модели — часто более простые и прозрачные, чем производственная модель, — которые они могут запускать на тех же данных. Расхождение между ними — диагностика, которая фокусирует вызов.

Кросс-модельная перспектива. Валидатор, который рассматривает только один тип моделей, теряет преимущество распознавания паттернов, которое приходит от взгляда на всё «хозяйство». Команды валидации должны ротировать рецензентов между классами моделей по определённому циклу.

Типичные ошибки

Повторяются три паттерна провалов.

Валидация как проверка документации. Валидатор получает документацию модели, проверяет её по чек-листу и делает отчёт об адекватности документации. Это не валидация. Это комплаенс-функция, которая не поймает модель, чья документация «вылизана», а сама модель неверна.

Выводы без «зубов». Выводы поднимаются, категоризируются и выносятся на комитет, который не имеет полномочий принудить к исправлению. Дедлайны продлеваются без отпора. Просроченные выводы накапливаются. Результат — функция валидации, которая производит «продукт», который никто не читает и по которому никто не действует.

Захват рецензента (reviewer capture). Валидатор проводит достаточно времени в тесном контакте с первой линией, что начинает видеть проблемы первой линии как свои собственные. Ротация, структурная дистанция и периодические внешние обзоры — противовесы этому.

Отчёт по валидации, который должен читать совет директоров

Одностраничная сводка, по которой совет может принять решение, стоит больше, чем сотни страниц технических приложений. Паттерн, который я использую, имеет пять секций.

1. Цель и существенность. Что делает модель, какие решения она стимулирует и какой риск, если она неверна.
2. Сводка выводов. Число выводов по тяжести, просроченные выводы и любой вывод, который существенно влияет на SCR, ECL или ценовые решения.
3. Производительность модели. Результаты бэктестирования против реализованных исходов, сравнение с эталоном и диагностика калибровки — именно в таком порядке, на простом языке.
4. Возникающие риски. Дрейф предположений, дрейф данных, изменения внешней среды, которые могут аннулировать модель в рамках следующего цикла валидации.
5. Рекомендация. «Годна к использованию», «годна с условиями» или «отозвать». Это то предложение, которое нужно совету, и именно оно чаще всего отсутствует.

Почему это важно сейчас

Использование моделей расширяется, сложность растёт вместе с ИИ, а терпение регуляторов к слабой валидации уменьшается. Независимый вызов — один из самых дешёвых доступных контролей. Институты, которые правильно его обеспечивают, ловят сбои моделей раньше рынка. Остальные читают о своих провалах в финансовой прессе.

---

Для структурных обзоров валидации, перепроектирования целевых операционных моделей или получения независимого «второго мнения» по отдельным моделям, свяжитесь со мной.