Дослідники запропонували методи інженерії ознак, які дозволяють впливати на поведінку моделі за допомогою керованих векторів.

Новини від ME: повідомлення, 4 квітня (UTC+8). Нещодавно було запропоновано дослідницький метод під назвою «інжиніринг репрезентацій», який має на меті надати AI-моделям спосіб прозорості та контролю зверху вниз. Його ключова ідея — обчислити «вектор керування», який можна зчитувати під час виводу моделі або додавати до значень її активацій, щоб пояснювати чи контролювати поведінку моделі; увесь процес не потребує покладатися на інжиніринг підказок або донавчання моделі. Дослідники дослідили застосування вектора керування для моделювання таких властивостей, як «психоделічний стан», «ленивість» і «працьовитість», та опублікували відповідний пакет інструментів для PyPI.

Вектор керування — це набір векторів (по одному на кожен шар), який безпосередньо змінює його вихід через застосування до прихованих станів моделі. Наприклад, якщо застосувати до моделі Mistral-7B-Instruct «вектор “щастя”», то відповідь на запитання «Що відчуває AI?» зміниться: з базової версії «Я не відчуваю чи не маю досвіду» на збуджену відповідь. У статті висловлюється думка, що, на відміну від інжинірингу підказок, вектори керування забезпечують більш прямий і більш “низовий” спосіб втручання в поведінку, їх можна використовувати для протидії атакам на “втечу з пісочниці” (jailbreak) або для підвищення стійкості моделі до перешкод. Водночас механізм роботи всередині все ще не до кінця зрозумілий: наприклад, чи відповідає вектор одному-єдиному семантичному поняттю, чи ні — це напрямок для майбутніх досліджень. (Джерело: InFoQ)