PRA SS1/23 на практике: управление рисками моделей

Автор: Jonas Mohamed Osman Abdelghafour.

Надзорное заявление PRA SS1/23 устанавливает пять принципов управления рисками моделей: идентификация и тиринг, управление (governance), разработка и внедрение, независимая валидация, а также управление рисками моделей с момента развертывания. При беглом прочтении они кажутся описанием того, что большинство банков уже делает. Однако при честном внедрении они обнажают места, где система существует лишь на бумаге, а не в операционной модели.

Принцип 1: вы не можете управлять тем, что не определили

Идентификация моделей — это этап, на котором внедрение чаще всего терпит неудачу, так как определение формулируется узко, чтобы сохранить инвентарь управляемым. Последствием становится «теневое имущество» — электронные таблицы, устанавливающие ценовые надбавки, детерминированные механизмы правил в борьбе с финансовыми преступлениями, инструменты вендоров, расчеты которых никто не проверял, и все чаще AI-ассистенты, встроенные в программное обеспечение для рабочих процессов.

Обоснованный подход определяет модель через использование ее выходных данных и применяет соразмерный подход через тиринг (разделение на уровни). Уровень 1 (Tier 1) требует полной независимой валидации и ежегодного пересмотра; более низкие уровни требуют регистрации, наличия владельца и облегченной периодической оценки. Тест определения прост: если надзорный орган выберет любое решение, существенно влияющее на прибыль, капитал или клиентов, сможете ли вы назвать модели, стоящие за ним?

Принцип 2: управление — это подотчетность, а не комитеты

SS1/23 ожидает, что старший менеджер будет владеть риском моделей как отдельным видом риска с обеспечением видимости на уровне совета директоров. На практике это означает наличие ответственного руководителя, политики с реальными рычагами воздействия на несанкционированное использование и аппетита к риску моделей, выраженного в чем-то более полезном для принятия решений, чем просто «низкий». Работающие формулировки аппетита обычно сочетают лимиты на невалидированные позиции Уровня 1, допуски по просроченным результатам проверок и явные условия, при которых использование модели должно быть ограничено или прекращено.

Принцип 3: дисциплина разработки важнее валидации

Независимая валидация не может исправить плохо документированную сборку. Стандарт разработки должен требовать описания предполагаемого использования, происхождения данных (data lineage), отвергнутых альтернатив, доказательств тестирования, известных ограничений и компенсирующих мер контроля, привязанных к каждому ограничению. Ограничения — самый игнорируемый и при этом самый полезный раздел: модель с четко обозначенными границами и принудительными ограничениями в использовании безопаснее, чем модель, недостатки которой обнаруживаются уже в промышленной эксплуатации.

Принцип 4: что такое «эффективный вызов» (effective challenge)

Валидация приносит пользу, проверяя то, что разработчик не мог или не хотел проверять. Продуктивные вопросы касаются концептуальной обоснованности с учетом предполагаемого использования, чувствительности результатов к существенным допущениям, качества и репрезентативности данных, работы в условиях стресса и в различных сегментах, а также того, сможет ли мониторинг действительно обнаружить ухудшение характеристик. Повторение расчетов разработчика доказывает арифметику, а не обоснованность.

Независимость должна быть структурной — линия подчинения, бюджет и полномочия налагать условия или блокировать использование, иначе «эффективный вызов» превращается в простое редактирование.

Принцип 5: жизнь после запуска

Большая часть риска моделей реализуется спустя долгое время после одобрения. Работающий режим после внедрения определяет для каждой модели: что мониторится, с какой частотой, относительно каких пороговых значений и что происходит при нарушении порога. Реакция на нарушения должна быть согласована заранее: перекалибровка, наложение корректировок (overlay), ограничение использования или вывод из эксплуатации. Особого внимания заслуживают послемодельные корректировки (post-model adjustments) — они являются легитимным краткосрочным инструментом, но часто становятся способом, с помощью которого немоделируемое суждение становится постоянным и лишенным владельца.

Где внедрение идет не так

• Инвентарь — это список, а не инструмент контроля. Никто не сверяет его с производственными системами.
• Старение результатов проверок. Просроченные результаты валидации — самый четкий опережающий индикатор того, что система управления не работает.
• Тиринг является предметом переговоров. Если бизнес-подразделения могут выторговать себе более низкий уровень, материальность превратилась в разговор о бюджете.
• Модели вендоров фактически освобождены от проверок. Ограниченный доступ к внутренним механизмам — это причина для проведения компенсирующих тестов, а не для пропуска оценки.
• Отчетность для совета директоров считает количество моделей. Она должна сообщать о подверженности риску, дрейфе характеристик и открытых решениях.

Прагматичная последовательность действий

Учреждения, создающие или перестраивающие систему управления, обычно продвигаются дальше, если сначала приводят в порядок «имущество», а затем совершенствуют методологию: заполнить и сверить инвентарь, назначить владельцев, распределить по уровням материальности, закрыть пробелы в валидации Уровня 1, а затем инвестировать в автоматизацию мониторинга. Сложная методология валидации, примененная к неполному инвентарю, ничего не защищает.

SS1/23 вознаграждает доказательства. Учреждения, которые внедряют его хорошо, — это не те, у кого самые длинные политики, а те, кто может показать в любой день, какие модели работают, кто ими владеет, каковы их показатели и что руководство предпримет дальше.

Первоисточники: Bank of England / PRA Supervisory Statement SS1/23, Model risk management principles for banks.