Виталик: безопасность и пользовательский опыт — не отдельные области, минимизация целей и отклонений в поведении системы

Foresight News сообщает, что Виталик Бутерин в своем посте на Farcaster заявил, что целью безопасности является минимизация отклонений между пользовательским намерением и фактическим поведением системы. «Пользовательский опыт» также можно определить таким образом, поэтому безопасность и пользовательский опыт не являются отдельными областями; безопасность больше сосредоточена на краевых рисках (высокая стоимость отклонений) и на противодействии поведению, вызывающему такие риски. Идеальная безопасность невозможна, поскольку «пользовательское намерение» само по себе чрезвычайно сложно, пользователи трудно четко его выразить (например, в случае «отправить 1 ETH Бобу» — Боб не может быть математически определен). Более сложные цели, такие как «защита конфиденциальности», также трудно определить (утечка метаданных значительно превосходит шифрование). Это похоже на ранние проблемы безопасности ИИ: цели трудно надежно задать.

Отличные решения по безопасности должны включать следующие характеристики: пользователь выражает свои намерения множественными, перекрывающимися способами, а система выполняет их только при согласовании с нескольких сторон. Примеры включают типовые системы в программировании, формальную верификацию, моделирование транзакций, пост-транзакционные утверждения, мультиподписи / социальное восстановление, лимиты расходов и подтверждение аномалий — все это снижает риски за счет избыточности. Кроме того, LLM могут использоваться для моделирования намерений (универсальные LLM приближают человеческий здравый смысл, пользователь донастраивает LLM для приближения к своему собственному мышлению), но не должны самостоятельно определять намерения, а лишь дополнять их с разных точек зрения, повышая эффективность избыточности.