Уровень суждения: Почему ИИ не умён, пока лидеры не станут умнее

Гильермо Дельгадо Апарисио — глобальный лидер по искусственному интеллекту в Nisum.

Откройте для себя главные новости и события финтеха!

Подписывайтесь на рассылку FinTech Weekly

Читают руководители JP Morgan, Coinbase, Blackrock, Klarna и другие

Искусственный интеллект в финтехе охватывает широкий спектр применений, от обнаружения мошенничества и алгоритмической торговли до динамического кредитного скоринга и персонализированных рекомендаций по продуктам. Однако отчет Управления по финансовому поведению (Financial Conduct Authority) показал, что из 75% компаний, использующих ИИ, только 34% понимают, как он работает.

Проблема заключается не только в отсутствии осведомленности. Это глубокое недоразумение относительно силы и масштабов аналитики данных, из которой возникает ИИ. Массовое внедрение генеративных инструментов ИИ привлекло внимание руководства высшего звена. Но многие из тех, кто решает, как внедрять ИИ, не понимают его фундаментальных принципов — исчисления, статистики и сложных алгоритмов.

Возьмем закон Бёрфорда — простое статистическое правило, которое выявляет мошенничество, обнаруживая закономерности в числах. ИИ строится на тех же математических основах, только масштабируется на миллионы транзакций одновременно. Убрав всю шумиху, остается фундамент — статистика и алгоритмы.

Именно поэтому важна грамотность руководителей в области ИИ. Лидеры, которые не могут отличить границы аналитики, рискуют либо чрезмерно доверять системам, которых не понимают, либо недооценивать их из страха. История показывает, что происходит, когда руководители неправильно интерпретируют технологии: регуляторы однажды пытались запретить международные IP-звонки, но технология опередила правила. Та же динамика развивается и с ИИ. Его нельзя блокировать или слепо внедрять; необходимы суждения, контекст и способность ответственно управлять им.

Руководители финтеха должны устранить эти пробелы, чтобы использовать ИИ ответственно и эффективно. Это означает понимание, где заканчивается аналитика и начинается ИИ, развитие навыков управления этими системами и применение здравого смысла при принятии решений о доверии их результатам.

Ограничения, слепые зоны и иллюзии ИИ

Аналитика анализирует прошлые и текущие данные, чтобы объяснить, что произошло и почему. ИИ развивается на этой базе, используя продвинутую аналитику для прогнозирования будущих событий и, все чаще, для автоматического принятия решений или действий.

Благодаря своим исключительным навыкам обработки данных, легко понять, почему руководители финтеха видят в ИИ свое волшебное решение. Но он не способен решить все проблемы. Люди по-прежнему обладают врожденным преимуществом в распознавании шаблонов, особенно когда данные неполные или «грязные». ИИ может испытывать трудности с интерпретацией контекстуальных нюансов, которые человек быстро уловит.

Тем не менее, ошибочно считать, что несовершенные данные делают ИИ бесполезным. Аналитические модели могут работать с неполными данными. Но настоящая сложность — знать, когда применять ИИ, а когда полагаться на человеческое суждение для заполнения пробелов. Без этого тщательного контроля ИИ может создавать значительные риски.

Одной из таких проблем является предвзятость. Когда финтехи обучают ИИ на устаревших наборах данных, они зачастую наследуют связанные с ними предубеждения. Например, имя клиента может случайно служить прокси для пола, или фамилия — для этнической принадлежности, что искажает кредитные рейтинги так, что ни один регулятор не одобрит. Эти предубеждения, легко скрытые в математике, часто требуют человеческого контроля для обнаружения и исправления.

Когда модели ИИ сталкиваются с ситуациями, на которых их не обучали, возникает сдвиг модели (model drift). Волатильность рынка, изменения в регулировании, эволюция поведения клиентов и макроэкономические сдвиги могут снижать эффективность модели без постоянного мониторинга и перенастройки человеком.

Трудность перенастройки алгоритмов возрастает, когда финтехи используют «черные ящики», не позволяющие видеть взаимосвязи между переменными. В таких случаях они теряют возможность передать эти знания руководству. Кроме того, ошибки и предвзятости остаются скрытыми в непрозрачных моделях, подрывая доверие и соответствие требованиям регуляторов.

Что должны знать руководители финтеха

Исследование Deloitte показало, что 80% считают, что их советы директоров практически не имеют опыта работы с ИИ. Но руководители высшего звена не могут позволить себе считать ИИ «проблемой технической команды». Ответственность за ИИ лежит на руководстве, поэтому финтех-лидерам нужно повышать свою квалификацию.

Межаналитическая грамотность

Перед внедрением ИИ руководители должны уметь переключаться — смотреть на цифры, бизнес-кейс, операции и этику — и видеть, как эти факторы пересекаются и формируют результаты ИИ. Они должны понять, как статистическая точность модели связана с кредитным риском. И распознавать, когда переменная, казалось бы, финансово обоснованная (например, история погашений), может создавать социальные или регуляторные риски через корреляцию с защищенными классами, такими как возраст или этническая принадлежность.

Эта грамотность формируется через совместную работу с сотрудниками по соблюдению нормативных требований, обсуждение с менеджерами по продуктам пользовательского опыта и совместный анализ результатов моделей с дата-сайентистами для выявления признаков сдвига или предвзятости.

В финтехе полностью исключить риски невозможно, но с помощью межаналитической грамотности руководители могут определить, какие риски оправданы, а какие могут разрушить стоимость для акционеров. Этот навык также помогает выявлять и устранять предвзятость не только с точки зрения соответствия нормативам, но и с стратегической и этической.

Например, если модель кредитного скоринга, основанная на ИИ, сильно смещена в сторону одной группы клиентов, исправление этого дисбаланса — не только задача аналитика; это защищает репутацию компании. Для финтехов, ориентированных на финансовую инклюзию или сталкивающихся с ESG-давлением, соблюдение закона — лишь часть задачи. Суждение означает знать, что правильно, а не только что разрешено.

Грамотность объяснимости

Объяснимость — основа доверия. Без нее руководители, клиенты и регуляторы задаются вопросами, почему модель пришла к определенному выводу.

Это означает, что руководители должны уметь отличать интерпретируемые модели от тех, которым нужны постфактум объяснения (например, SHAP или LIME). Они должны задавать вопросы, когда логика модели не ясна, и распознавать, когда «точность» сама по себе не может оправдать «черный ящик».

Предвзятость не появляется из ниоткуда; она возникает, когда модели обучаются и внедряются без должного контроля. Объяснимость дает руководителям возможность обнаружить эти проблемы на ранних стадиях и принять меры, прежде чем они нанесут ущерб.

ИИ — это как автопилот в самолете. Большую часть времени он работает без сбоев, но когда начинается шторм, пилот должен взять управление. В финансах тот же принцип применим. Команды должны иметь возможность остановить торговлю, скорректировать стратегию или даже отменить запуск продукта, когда условия меняются. Объяснимость работает в тандеме с готовностью к вмешательству, что гарантирует, что руководители высшего звена понимают ИИ и остаются у руля, даже при масштабных операциях.

Модельное мышление с вероятностным подходом

Руководители привыкли к детерминированным решениям, например, если кредитный рейтинг ниже 650, отклонить заявку. Но ИИ работает иначе, и это — существенный сдвиг в мышлении.

Для руководителей вероятностное мышление требует трех навыков:

* интерпретировать диапазоны рисков, а не бинарные «да/нет»;
* оценивать уровень доверия к прогнозу с учетом других бизнес-или регуляторных факторов;
* знать, когда нужно вмешаться и применить человеческое суждение.

Например, вероятностная модель финтеха может указать, что клиент — высокий риск, но это не обязательно означает «отказать». Возможно, стоит «провести дополнительное расследование» или «скорректировать условия кредита». Без этой тонкости автоматизация рискует стать грубым инструментом, подрывающим доверие клиентов и вызывающим регуляторные санкции.

Почему слой суждения определит победителей финтеха

Будущее финтеха не будет зависеть от того, у кого самые мощные модели ИИ, а от того, кто использует их с самым острым суждением. По мере того как ИИ становится товаром, преимущества в эффективности — это уже норма. Разделяющими победу являются способность вмешиваться, когда алгоритмы сталкиваются с неопределенностью, рисками и этическими серыми зонами.

Слой суждения — это не абстрактная идея. Он проявляется, когда руководители решают приостановить автоматическую торговлю, задержать запуск продукта или отменить риск-оценку, которая не учитывает реальный контекст. Эти моменты — не сбои ИИ; это доказательство того, что человеческий контроль — последний источник ценности.

Стратегическая согласованность — это то, где суждение становится частью операционной модели. Сильная стратегия ИИ не только создает технические дорожные карты; она обеспечивает регулярный пересмотр инициатив, повышение компетенций команд, наличие необходимой архитектуры данных и связывает каждое внедрение с четкими бизнес-целями. В этом смысле суждение — не эпизодическая функция, а встроенная часть операционной деятельности, позволяющая руководителям вести лидерство, основанное на ценностях.

Финтехам нужны лидеры, умеющие балансировать между скоростью и масштабируемостью ИИ и человеческим фактором — контекстом, нюансами и долгосрочным видением. ИИ может обнаружить аномалии за секунды, но только люди могут решить, когда стоит возразить против математической модели, переосмыслить предположения или рискнуть ради роста. Этот слой суждения превращает ИИ из инструмента в конкурентное преимущество.