10 червня засновник OpenAI Сем Альтман з’явився на конференції зі штучного інтелекту Zhiyuan 2023, що відбулася в Пекіні, Китай, через відеозв’язок. Це був перший раз, коли Альтман виступив перед китайською аудиторією.
У своїй промові Альтман процитував «Дао Те Цзин» і розповів про співпрацю між великими країнами, сказавши, що безпека штучного інтелекту починається з одного кроку, а співпраця та координація між країнами повинні здійснюватися.
Тоді Альтман прийняв особисту бесіду з Чжан Хунцзяном, головою Науково-дослідного інституту Чжиюань.
Доктор Чжан Хунцзян зараз є головою Пекінського науково-дослідного інституту штучного інтелекту Чжиюань, а також є незалежним директором і консультантом кількох компаній. Він був виконавчим директором і генеральним директором Kingsoft Group і генеральним директором Kingsoft Cloud. Він був одним із засновників Азійського дослідницького інституту Microsoft. ) Дін і «Видатний науковець Microsoft».
До приходу в Microsoft Чжан Хунцзян був менеджером Hewlett-Packard Labs у Кремнієвій долині, США, а до цього він також працював в Інституті системних наук Національного університету Сінгапуру.
Основний зміст виступу Альтмана:
Причина, чому нинішня революція штучного інтелекту настільки вражаюча, полягає не лише в масштабі її впливу, але й у швидкості її прогресу. Це приносить як дивіденди, так і ризики.
З появою все більш потужних систем штучного інтелекту важливість глобальної співпраці ніколи не була такою. У деяких важливих подіях країни повинні співпрацювати та координуватись. Підвищення безпеки AGI є однією з найважливіших сфер, де нам потрібно знайти спільні інтереси.
Вирівнювання залишається невирішеним питанням. На роботу над трасою GPT-4 знадобилося вісім місяців. Однак відповідні дослідження все ще вдосконалюються, в основному розділені на два аспекти: масштабованість та інтерпретабельність.
Ключовий зміст сесії запитань і відповідей:
Люди матимуть потужну систему штучного інтелекту (AI) протягом десяти років.
OpenAI не має актуального нового розкладу для відкритого коду Модель відкритого коду має переваги, але відкритий код може бути не найкращим шляхом (для сприяння розвитку ШІ).
Набагато легше зрозуміти нейронні мережі, ніж людський мозок.
У якийсь момент спробую зробити модель GPT-5, але не скоро. Я не знаю, коли з’явиться конкретний GPT-5.
Безпека ШІ вимагає участі та внеску китайських дослідників.
Примітка. «Узгодження ШІ» є найважливішим питанням у питаннях контролю ШІ, тобто мета системи ШІ повинна бути узгоджена (узгоджена) з людськими цінностями та інтересами.
Зміст виступу Сема Альтмана:
З появою все більш потужних систем штучного інтелекту ставки для глобальної співпраці ніколи не були такими високими.
Якщо ми не будемо обережні, недоречна система штучного інтелекту, розроблена для покращення результатів громадського здоров’я, може порушити всю систему охорони здоров’я, надаючи необґрунтовані рекомендації. Подібним чином системи штучного інтелекту, розроблені для оптимізації сільськогосподарського виробництва, можуть ненавмисно виснажити природні ресурси або завдати шкоди екосистемам через відсутність урахування довгострокової стійкості, яка впливає на виробництво продуктів харчування, екологічний баланс.
Сподіваюся, ми всі можемо погодитися, що підвищення безпеки AGI є однією з найважливіших сфер, де нам потрібно працювати разом і знаходити спільне.
Решта моєї презентації зосереджуватиметься на тому, з чого ми можемо почати: 1. Перша сфера – це управління AGI, AGI засадничо став потужною силою для змін у нашій цивілізації, наголошуючи на важливому міжнародному співробітництві та необхідності координації. Усі виграють від підходу спільного управління. Якщо ми рухатимемося цим шляхом безпечно та відповідально, системи AgI зможуть створити неперевершене економічне процвітання для глобальної економіки, вирішити загальні виклики, такі як зміна клімату та глобальна безпека охорони здоров’я, а також підвищити соціальний добробут.
Я також глибоко вірю в майбутнє. Нам потрібно інвестувати в безпеку AGI, щоб потрапити туди, де ми хочемо бути, і насолоджуватися цим.
Для цього нам потрібна ретельна координація. Це глобальна технологія з глобальним охопленням. Вартість нещасних випадків, спричинених необачною розробкою та розгортанням, вплине на всіх нас.
У міжнародному співробітництві, я вважаю, є дві ключові сфери, які є найважливішими.
Перш за все нам потрібно встановити міжнародні норми та стандарти та звернути увагу на інклюзивність у цьому процесі. Використання систем AGI у будь-якій країні має однаково та послідовно відповідати міжнародним стандартам і нормам. Ми вважаємо, що всередині цих огорож безпеки люди мають широкі можливості робити власний вибір.
По-друге, нам конче потрібна міжнародна співпраця, щоб підтвердити міжнародну довіру до безпечної розробки дедалі потужніших систем ШІ. Я не помиляюся, що це легке завдання, яке потребує великої відданої та постійної уваги. **
Дао Де Цзин говорить нам: подорож у тисячу миль починається з одного кроку. Вважаємо, що найбільш конструктивним першим кроком у цьому плані є співпраця з міжнародним науково-технічним співтовариством.
Необхідно наголосити на тому, що ми повинні посилити механізм прозорості та обміну знаннями для просування технологічного прогресу. Коли йдеться про безпеку AGI, дослідники, які виявляють нові проблеми безпеки, повинні ділитися своїми ідеями заради загального блага.
Нам потрібно добре подумати про те, як ми можемо поважати та захищати інтелектуальну власність, одночасно заохочуючи цю норму. Якщо ми це зробимо, то це відкриє нам нові двері для поглиблення нашої співпраці.
У більш широкому плані ми повинні інвестувати в сприяння та керівництво дослідженнями щодо узгодження та безпеки ШІ.
У Open AI наше сьогоднішнє дослідження зосереджено на технічних питаннях, які дозволяють ШІ відігравати корисну та безпечнішу роль у наших поточних системах. Це також може означати, що ми навчаємо ChatGPT таким чином, щоб він не погрожував насильством і не допомагав користувачам у шкідливих діях.
Але в міру того, як ми наближаємось до епохи AGI, потенційний вплив і розмір впливу неузгоджених систем ШІ зростатимуть експоненціально. Проактивне вирішення цих проблем зараз мінімізує ризик катастрофічних наслідків у майбутньому.
Для поточної системи ми в основному використовуємо навчання з підкріпленням із відгуками людини, щоб навчити нашу модель бути корисним помічником із безпеки. Це лише один із прикладів різноманітних технік коригування після навчання. Крім того, ми наполегливо працюємо над новими технологіями, які вимагають багато наполегливої інженерної роботи.
Від моменту завершення попереднього навчання GPT4 до моменту його розгортання ми присвячуємо 8 місяців роботі з узгодження. Загалом ми вважаємо, що робимо тут хорошу роботу. GPT4 більше орієнтована на людей, ніж будь-яка з наших попередніх моделей.
Однак узгодження залишається відкритою проблемою для більш просунутих систем, які, як ми стверджуємо, потребують нових технічних підходів із покращеним управлінням і наглядом.
Для майбутніх систем AGI пропонується 100 000 рядків двійкового коду. Людські наглядачі навряд чи дізнаються, чи така модель робить щось негідне. Тож ми інвестуємо в нові, додаткові напрямки досліджень, які, сподіваємося, приведуть до проривів.
** **Одним є масштабований контроль. Ми можемо спробувати використовувати системи ШІ, щоб допомогти людям контролювати інші системи ШІ. Наприклад, ми можемо навчити модель, щоб допомогти нагляду людини знаходити недоліки в результатах інших моделей. **
Друге — здатність до інтерпретації. Ми хотіли спробувати краще зрозуміти, що відбувається всередині цих моделей. Нещодавно ми опублікували статтю з використанням GPT-4 для інтерпретації нейронів у GPT-2. **В іншій статті ми використовуємо внутрішні дані моделі, щоб визначити, коли модель бреше. **Нам ще попереду довгий шлях. Ми віримо, що передові методи машинного навчання можуть ще більше покращити нашу здатність пояснювати.
Зрештою, наша мета — навчити системи штучного інтелекту допомагати в дослідженнях узгодження. **Принадність цього підходу полягає в тому, що він може масштабуватися зі швидкістю розробки ШІ.
Скористатись надзвичайними перевагами AGI і пом’якшити ризики є одним із основних завдань нашого часу. Ми бачимо великий потенціал для дослідників у Китаї, США та в усьому світі, щоб разом працювати над тією самою метою та наполегливо працювати над вирішенням технічних проблем, пов’язаних із узгодженням AGI.
Якщо ми це зробимо, я вірю, що ми зможемо використовувати AGI для вирішення найважливіших світових проблем і значно покращити якість людського життя. Дуже дякую.
Нижче наведено стенограму розмови:
У наступні десять років у нас буде дуже потужна система ШІ
Чжан Хунцзян, голова науково-дослідного інституту Чжиюань, запитав: **Як далеко ми від загального штучного інтелекту (AGI)? Ризик нагальний, чи ми далекі від нього? **
Сем Альтман: Важко оцінити, коли. **Цілком ймовірно, що в найближчі десять років ми матимемо дуже потужні системи ШІ, а нові технології докорінно змінять світ швидше, ніж ми думаємо. **Я вважаю, що в цьому світі важливо й терміново виправити це (правила безпеки ШІ), тому я закликаю міжнародне співтовариство працювати разом.
У певному сенсі прискорення та системний вплив нових технологій, які ми бачимо зараз, є безпрецедентними. Тож я думаю, що важливо бути готовим до того, що насуває, і знати про проблеми безпеки. Враховуючи величезний масштаб ШІ, ставки значні.
На вашу думку, у сфері безпеки AGI, які переваги мають різні країни для вирішення цієї проблеми, особливо для вирішення питань безпеки ШІ. Як можна поєднати ці сильні сторони?
Глобальне співробітництво з метою запропонувати стандарти безпеки та рамки для ШІ
Чжан Хунцзян: Ви щойно кілька разів згадали у попередньому вступі, що глобальне співробітництво триває. Ми знаємо, що світ стикався з серйозними кризами в минулому. Якимось чином для багатьох із них нам вдалося досягти консенсусу, побудувати глобальну співпрацю. Ви також у світовому турі, яку глобальну співпрацю ви намагаєтеся просувати?
Сем Альтман: Так, я дуже задоволений реакцією та відповідями кожного. Я думаю, що люди дуже серйозно сприймають ризики та можливості AGI.
Я думаю, що за останні 6 місяців дискусія про безпеку просунулася далеко вперед. Здається, існує реальна прихильність до визначення структури, яка дозволить нам насолоджуватися цими перевагами, працюючи разом у всьому світі, щоб зменшити ризики. Я думаю, що ми дуже добре підходить для цього. Глобальна співпраця завжди складна, але я бачу в ній можливість і загрозу для об’єднання світу. Було б дуже корисно, якби ми змогли створити структуру та стандарти безпеки для цих систем.
Як вирішити проблему вирівнювання штучного інтелекту
Чжан Хунцзян: Ви згадали, що вирівнювання передового штучного інтелекту є невирішеною проблемою. Я також помітив, що OpenAI доклав багато зусиль за останні кілька років. Ви згадали, що GPT-4 є, безумовно, найкращим прикладом у сфері вирівнювання. Як ви думаєте, чи можемо ми вирішити проблеми безпеки AGI лише за допомогою тонкого налаштування (API)? Або це набагато складніше, ніж спосіб вирішення цієї проблеми?
Сем Альтман: Я думаю, що є різні способи розуміння слова вирівнювання. Я думаю, що нам потрібно вирішити проблему всієї системи штучного інтелекту. Вирівнювання в традиційному розумінні, що поведінка моделі відповідає намірам користувача, безумовно, є частиною цього.
Але також будуть інші проблеми, наприклад, як ми перевіряємо, що роблять системи, що ми хочемо, щоб вони робили, і як ми регулюємо цінність системи. Найважливіше бачити загальну картину безпеки AGI.
Все інше важко без технічного рішення. Я вважаю, що дуже важливо зосередитися на тому, щоб переконатися, що ми розглядаємо технічні аспекти безпеки. Як я вже згадував, визначення наших цінностей — це не технічне питання. Хоча це вимагає технічного внеску, це питання, яке заслуговує на глибоке обговорення всім суспільством. Ми повинні розробляти системи, які є справедливими, репрезентативними та інклюзивними.
Чжан Хунцзян: Для узгодження те, що ми бачимо, GPT-4 все ще є рішенням з технічної точки зору. Але є багато інших факторів, крім технологій, часто системних. Можливо, безпека штучного інтелекту не є винятком. Крім технічних аспектів, які інші фактори та проблеми? Як ви вважаєте, чи це важливо для безпеки ШІ? Як нам відповідати на ці виклики? Тим паче, що більшість із нас науковці. Що нам робити.
Сем Альтман: Це, звичайно, дуже складне питання. Але все інше важко без технічного рішення. Я вважаю, що для уряду дуже важливо зосередитися на тому, щоб ми врахували технічні аспекти безпеки. **Як я вже згадував, визначення наших цінностей не є технічним питанням. Це вимагає технічного внеску, але це також питання, яке заслуговує на глибоке обговорення всього суспільства. **Ми повинні розробляти системи, які є справедливими, репрезентативними та інклюзивними. **
І, як ви зазначили, нам потрібно думати про безпеку не лише самої моделі ШІ, а й системи в цілому.
Тому важливо мати можливість створювати безпечні класифікатори та детектори, які працюють у системах, які контролюють ШІ на відповідність політикам використання. Я думаю, що важко заздалегідь передбачити всі проблеми, які виникнуть з будь-якою технологією. Тому вчіться на досвіді використання в реальному світі та розгортайте його ітеративно, щоб побачити, що відбувається, коли ви насправді створюєте реальність і покращуєте її.
Також важливо дати людям і суспільству час на навчання та оновлення, а також на те, щоб подумати про те, як ці моделі взаємодіятимуть із їхнім життям як добре, так і погано.
Потрібна співпраця всіх країн
Чжан Хунцзян: Раніше ви згадували про глобальну співпрацю. Ви подорожуєте по всьому світу. Китай, Сполучені Штати та Європа є рушійними силами інновацій штучного інтелекту. На вашу думку, у AGI, які переваги різних країн для вирішення проблеми AGI, особливо для вирішення проблема безпеки людини?питання. Як можна поєднати ці сильні сторони?
Сем Альтман: Я думаю, що загалом потрібно багато різних точок зору та безпеки ШІ. Ми ще не маємо відповідей на всі питання, і це досить складне і важливе питання.
Крім того, як уже згадувалося, це не суто технічне питання, щоб зробити ШІ безпечним і корисним. Включає розуміння уподобань користувачів у різних країнах у дуже різних контекстах. Нам потрібно багато різних вхідних даних, щоб це сталося. У Китаї є одні з найкращих талантів у сфері ШІ у світі. По суті, я вважаю, що найкращі уми з усього світу потрібні для вирішення труднощів узгодження передових систем ШІ. Тож я справді сподіваюся, що китайські дослідники штучного інтелекту зможуть зробити тут великий внесок.
Потрібна зовсім інша архітектура, щоб зробити AGI безпечнішим
Чжан Хунцзян: Додаткові запитання про GPT-4 і безпеку ШІ. Чи можливо, що нам потрібно змінити всю інфраструктуру або всю архітектуру моделі AGI? Щоб безпечніше і легше проходити перевірку.
Сем Альтман: Цілком можливо, що нам потрібні дуже різні архітектури як з функціональної точки зору, так і з точки зору безпеки.
Я думаю, ми зможемо досягти певного прогресу, значного прогресу в поясненні можливостей наших різних моделей прямо зараз, і змусити їх краще пояснити нам, що вони роблять і чому. Але так, я не здивуюся, якщо після «Трансформера» станеться ще один гігантський стрибок. Ми змінили багато архітектури з часу оригінального Трансформера.
Можливість OpenAI з відкритим кодом
Чжан Хунцзян: Я розумію, що сьогоднішній форум присвячений безпеці штучного інтелекту, тому що люди дуже цікавляться OpenAI, тож у мене є багато запитань про OpenAI, а не лише щодо безпеки штучного інтелекту. У мене є запитання аудиторії: чи є плани OpenAI знову відкрити вихідний код своїх моделей, як це було до версії 3.0? Я також вважаю, що відкритий код хороший для безпеки ШІ.
Сем Альтман: Деякі з наших моделей є з відкритим кодом, а деякі – ні, але з плином часу я думаю, ви повинні очікувати, що ми продовжуватимемо відкривати код більше моделей у майбутньому. У мене немає конкретної моделі чи термінів, але це те, що ми зараз обговорюємо.
Чжан Хунцзян: BAAI докладає всіх зусиль до відкритого коду, включаючи самі моделі та алгоритми. Ми вважаємо, що у нас є така потреба, ділитися та віддавати, що ви сприймаєте як те, що вони контролюють. Чи є у вас подібні ідеї, чи ці теми обговорювалися серед ваших однолітків чи колег з OpenAI?
Сем Альтман: Так, **я думаю, що відкритий вихідний код певною мірою відіграє важливу роль. **
Останнім часом також з’явилося багато нових моделей з відкритим кодом. Я думаю, що модель API також відіграє важливу роль. Це надає нам додаткові засоби контролю безпеки. Ви можете заблокувати певне використання. Ви можете заблокувати певні типи налаштувань. Якщо щось не працює, ви можете забрати це назад. У масштабах нинішньої моделі я не надто переживаю з цього приводу. Але оскільки модель стає настільки потужною, якою ми очікуємо, якщо ми маємо рацію, я вважаю, що відкритий код може бути не найкращим шляхом, хоча іноді це правильно. **Я думаю, що нам просто потрібно ретельно це збалансувати. **
У майбутньому у нас буде більше великих моделей з відкритим кодом, але конкретної моделі та розкладу немає.
Наступний крок для AGI? Чи скоро ми побачимо GPT-5?
Чжан Хунцзян: Як досліднику, мені також цікаво, який наступний напрямок досліджень AGI? З точки зору великих моделей, великих мовних моделей, чи побачимо ми скоро GPT-5? Чи наступний рубіж у втілених моделях? Чи є автономна робототехніка сферою, яку OpenAI є або планує досліджувати?
Сем Альтман: Мені також цікаво, що буде далі, і одна з моїх улюблених речей у цій роботі полягає в тому, що передові дослідження викликають багато хвилювання та несподіванок. Ми ще не маємо відповідей, тому ми досліджуємо багато можливих нових парадигм. Звичайно, в якийсь момент ми спробуємо зробити модель GPT-5, але не найближчим часом. Ми не знаємо, коли саме. Ми працюємо над робототехнікою з самого початку OpenAI, і нам це дуже цікаво, але у нас виникли деякі труднощі. Сподіваюся, одного дня ми зможемо повернутися до цієї сфери.
Чжан Хунцзян: Звучить чудово. Ви також згадали у своїй презентації, як ви використовуєте GPT-4, щоб пояснити, як працює GPT-2, роблячи модель більш безпечною. Чи масштабується цей підхід? Чи буде OpenAI розвиватися в цьому напрямку в майбутньому?
Сем Альтман: Ми продовжуватимемо працювати в цьому напрямку.
Чжан Хунцзян: Як ви думаєте, чи можна застосувати цей метод до біологічних нейронів? Тому що причина, чому я ставлю це запитання, полягає в тому, що є деякі біологи та нейробіологи, які хочуть запозичити цей метод, щоб вивчати та досліджувати, як нейрони людини працюють у своїй галузі.
Сем Альтман: Набагато легше побачити, що відбувається на штучних нейронах, ніж на біологічних. **Тож я думаю, що цей підхід справедливий для штучних нейронних мереж. **Я думаю, що є спосіб використовувати більш потужні моделі, щоб допомогти нам зрозуміти інші моделі. Але я не зовсім впевнений, як би ви застосували цей підхід до людського мозку.
Чи можливо контролювати кількість моделей
Чжан Хунцзян: Добре, дякую. Тепер, коли ми поговорили про безпеку штучного інтелекту та керування AGI, одне з питань, яке ми обговорювали, чи було б безпечніше, якби у світі було лише три моделі? Це як ядерний контроль, ви не хочете, щоб ядерна зброя поширювалася. У нас є договір, за яким ми намагаємося контролювати кількість країн, які можуть отримати цю технологію. Отже, чи можна контролювати кількість моделей?
Сем Альтман: Я думаю, що існують різні думки щодо того, що безпечніше мати у світі модель меншості чи модель більшості. Я вважаю, що важливіше, чи є у нас система, у якій будь-яка надійна модель адекватно перевіряється на безпеку? Чи є у нас структура, за якої будь-хто, хто створює достатньо надійну модель, має ресурси та відповідальність за те, щоб те, що вони створюють, було безпечним і узгодженим?
Чжан Хунцзян: На цій зустрічі вчора професор Макс з Інституту майбутнього життя Массачусетського технологічного інституту згадав про можливий метод, подібний до того, як ми контролюємо розробку ліків. Коли вчені або компанії розробляють нові ліки, ви не можете напряму продавати їх. Ви повинні пройти цей процес тестування. Чи можна цьому навчитися?
Сем Альтман: Я точно вважаю, що ми можемо багато чому навчитися з ліцензійних і тестових систем, які були розроблені в різних галузях. Але я думаю, що принципово ми маємо щось, що може працювати.
Чжан Хунцзян: Дуже дякую, Семе. Дякуємо, що знайшли час відвідати цю зустріч, хоча й онлайн. Я впевнений, що є ще багато питань, але враховуючи час, ми повинні зупинитися на цьому. Я сподіваюся, що наступного разу, коли у вас буде можливість приїхати до Китаю, приїжджайте до Пекіна, ми зможемо провести більш глибоку дискусію. Велике спасибі.
Переглянути оригінал
Контент має виключно довідковий характер і не є запрошенням до участі або пропозицією. Інвестиційні, податкові чи юридичні консультації не надаються. Перегляньте Відмову від відповідальності , щоб дізнатися більше про ризики.
Повний текст тут! Чжан Хунцзян розмовляє з OpenAI Altman: AGI кардинально змінить цивілізацію, і GPT-5 скоро не буде
Джерело: Wall Street News
Автор: Ге Цзямін
10 червня засновник OpenAI Сем Альтман з’явився на конференції зі штучного інтелекту Zhiyuan 2023, що відбулася в Пекіні, Китай, через відеозв’язок. Це був перший раз, коли Альтман виступив перед китайською аудиторією.
У своїй промові Альтман процитував «Дао Те Цзин» і розповів про співпрацю між великими країнами, сказавши, що безпека штучного інтелекту починається з одного кроку, а співпраця та координація між країнами повинні здійснюватися.
Тоді Альтман прийняв особисту бесіду з Чжан Хунцзяном, головою Науково-дослідного інституту Чжиюань.
Доктор Чжан Хунцзян зараз є головою Пекінського науково-дослідного інституту штучного інтелекту Чжиюань, а також є незалежним директором і консультантом кількох компаній. Він був виконавчим директором і генеральним директором Kingsoft Group і генеральним директором Kingsoft Cloud. Він був одним із засновників Азійського дослідницького інституту Microsoft. ) Дін і «Видатний науковець Microsoft».
До приходу в Microsoft Чжан Хунцзян був менеджером Hewlett-Packard Labs у Кремнієвій долині, США, а до цього він також працював в Інституті системних наук Національного університету Сінгапуру. Основний зміст виступу Альтмана:
Ключовий зміст сесії запитань і відповідей:
Примітка. «Узгодження ШІ» є найважливішим питанням у питаннях контролю ШІ, тобто мета системи ШІ повинна бути узгоджена (узгоджена) з людськими цінностями та інтересами.
Зміст виступу Сема Альтмана:
З появою все більш потужних систем штучного інтелекту ставки для глобальної співпраці ніколи не були такими високими.
Якщо ми не будемо обережні, недоречна система штучного інтелекту, розроблена для покращення результатів громадського здоров’я, може порушити всю систему охорони здоров’я, надаючи необґрунтовані рекомендації. Подібним чином системи штучного інтелекту, розроблені для оптимізації сільськогосподарського виробництва, можуть ненавмисно виснажити природні ресурси або завдати шкоди екосистемам через відсутність урахування довгострокової стійкості, яка впливає на виробництво продуктів харчування, екологічний баланс.
Сподіваюся, ми всі можемо погодитися, що підвищення безпеки AGI є однією з найважливіших сфер, де нам потрібно працювати разом і знаходити спільне.
Я також глибоко вірю в майбутнє. Нам потрібно інвестувати в безпеку AGI, щоб потрапити туди, де ми хочемо бути, і насолоджуватися цим.
Для цього нам потрібна ретельна координація. Це глобальна технологія з глобальним охопленням. Вартість нещасних випадків, спричинених необачною розробкою та розгортанням, вплине на всіх нас.
У міжнародному співробітництві, я вважаю, є дві ключові сфери, які є найважливішими.
Перш за все нам потрібно встановити міжнародні норми та стандарти та звернути увагу на інклюзивність у цьому процесі. Використання систем AGI у будь-якій країні має однаково та послідовно відповідати міжнародним стандартам і нормам. Ми вважаємо, що всередині цих огорож безпеки люди мають широкі можливості робити власний вибір.
По-друге, нам конче потрібна міжнародна співпраця, щоб підтвердити міжнародну довіру до безпечної розробки дедалі потужніших систем ШІ. Я не помиляюся, що це легке завдання, яке потребує великої відданої та постійної уваги. **
Дао Де Цзин говорить нам: подорож у тисячу миль починається з одного кроку. Вважаємо, що найбільш конструктивним першим кроком у цьому плані є співпраця з міжнародним науково-технічним співтовариством.
Необхідно наголосити на тому, що ми повинні посилити механізм прозорості та обміну знаннями для просування технологічного прогресу. Коли йдеться про безпеку AGI, дослідники, які виявляють нові проблеми безпеки, повинні ділитися своїми ідеями заради загального блага.
Нам потрібно добре подумати про те, як ми можемо поважати та захищати інтелектуальну власність, одночасно заохочуючи цю норму. Якщо ми це зробимо, то це відкриє нам нові двері для поглиблення нашої співпраці.
У більш широкому плані ми повинні інвестувати в сприяння та керівництво дослідженнями щодо узгодження та безпеки ШІ.
У Open AI наше сьогоднішнє дослідження зосереджено на технічних питаннях, які дозволяють ШІ відігравати корисну та безпечнішу роль у наших поточних системах. Це також може означати, що ми навчаємо ChatGPT таким чином, щоб він не погрожував насильством і не допомагав користувачам у шкідливих діях.
Але в міру того, як ми наближаємось до епохи AGI, потенційний вплив і розмір впливу неузгоджених систем ШІ зростатимуть експоненціально. Проактивне вирішення цих проблем зараз мінімізує ризик катастрофічних наслідків у майбутньому.
Для поточної системи ми в основному використовуємо навчання з підкріпленням із відгуками людини, щоб навчити нашу модель бути корисним помічником із безпеки. Це лише один із прикладів різноманітних технік коригування після навчання. Крім того, ми наполегливо працюємо над новими технологіями, які вимагають багато наполегливої інженерної роботи.
Від моменту завершення попереднього навчання GPT4 до моменту його розгортання ми присвячуємо 8 місяців роботі з узгодження. Загалом ми вважаємо, що робимо тут хорошу роботу. GPT4 більше орієнтована на людей, ніж будь-яка з наших попередніх моделей.
Однак узгодження залишається відкритою проблемою для більш просунутих систем, які, як ми стверджуємо, потребують нових технічних підходів із покращеним управлінням і наглядом.
Для майбутніх систем AGI пропонується 100 000 рядків двійкового коду. Людські наглядачі навряд чи дізнаються, чи така модель робить щось негідне. Тож ми інвестуємо в нові, додаткові напрямки досліджень, які, сподіваємося, приведуть до проривів.
**
**Одним є масштабований контроль. Ми можемо спробувати використовувати системи ШІ, щоб допомогти людям контролювати інші системи ШІ. Наприклад, ми можемо навчити модель, щоб допомогти нагляду людини знаходити недоліки в результатах інших моделей. **
Друге — здатність до інтерпретації. Ми хотіли спробувати краще зрозуміти, що відбувається всередині цих моделей. Нещодавно ми опублікували статтю з використанням GPT-4 для інтерпретації нейронів у GPT-2. **В іншій статті ми використовуємо внутрішні дані моделі, щоб визначити, коли модель бреше. **Нам ще попереду довгий шлях. Ми віримо, що передові методи машинного навчання можуть ще більше покращити нашу здатність пояснювати.
Зрештою, наша мета — навчити системи штучного інтелекту допомагати в дослідженнях узгодження. **Принадність цього підходу полягає в тому, що він може масштабуватися зі швидкістю розробки ШІ.
Скористатись надзвичайними перевагами AGI і пом’якшити ризики є одним із основних завдань нашого часу. Ми бачимо великий потенціал для дослідників у Китаї, США та в усьому світі, щоб разом працювати над тією самою метою та наполегливо працювати над вирішенням технічних проблем, пов’язаних із узгодженням AGI.
Якщо ми це зробимо, я вірю, що ми зможемо використовувати AGI для вирішення найважливіших світових проблем і значно покращити якість людського життя. Дуже дякую.
Нижче наведено стенограму розмови:
У наступні десять років у нас буде дуже потужна система ШІ
Чжан Хунцзян, голова науково-дослідного інституту Чжиюань, запитав: **Як далеко ми від загального штучного інтелекту (AGI)? Ризик нагальний, чи ми далекі від нього? **
Сем Альтман: Важко оцінити, коли. **Цілком ймовірно, що в найближчі десять років ми матимемо дуже потужні системи ШІ, а нові технології докорінно змінять світ швидше, ніж ми думаємо. **Я вважаю, що в цьому світі важливо й терміново виправити це (правила безпеки ШІ), тому я закликаю міжнародне співтовариство працювати разом.
У певному сенсі прискорення та системний вплив нових технологій, які ми бачимо зараз, є безпрецедентними. Тож я думаю, що важливо бути готовим до того, що насуває, і знати про проблеми безпеки. Враховуючи величезний масштаб ШІ, ставки значні.
На вашу думку, у сфері безпеки AGI, які переваги мають різні країни для вирішення цієї проблеми, особливо для вирішення питань безпеки ШІ. Як можна поєднати ці сильні сторони?
Глобальне співробітництво з метою запропонувати стандарти безпеки та рамки для ШІ
Чжан Хунцзян: Ви щойно кілька разів згадали у попередньому вступі, що глобальне співробітництво триває. Ми знаємо, що світ стикався з серйозними кризами в минулому. Якимось чином для багатьох із них нам вдалося досягти консенсусу, побудувати глобальну співпрацю. Ви також у світовому турі, яку глобальну співпрацю ви намагаєтеся просувати?
Сем Альтман: Так, я дуже задоволений реакцією та відповідями кожного. Я думаю, що люди дуже серйозно сприймають ризики та можливості AGI.
Я думаю, що за останні 6 місяців дискусія про безпеку просунулася далеко вперед. Здається, існує реальна прихильність до визначення структури, яка дозволить нам насолоджуватися цими перевагами, працюючи разом у всьому світі, щоб зменшити ризики. Я думаю, що ми дуже добре підходить для цього. Глобальна співпраця завжди складна, але я бачу в ній можливість і загрозу для об’єднання світу. Було б дуже корисно, якби ми змогли створити структуру та стандарти безпеки для цих систем.
Як вирішити проблему вирівнювання штучного інтелекту
Чжан Хунцзян: Ви згадали, що вирівнювання передового штучного інтелекту є невирішеною проблемою. Я також помітив, що OpenAI доклав багато зусиль за останні кілька років. Ви згадали, що GPT-4 є, безумовно, найкращим прикладом у сфері вирівнювання. Як ви думаєте, чи можемо ми вирішити проблеми безпеки AGI лише за допомогою тонкого налаштування (API)? Або це набагато складніше, ніж спосіб вирішення цієї проблеми?
Сем Альтман: Я думаю, що є різні способи розуміння слова вирівнювання. Я думаю, що нам потрібно вирішити проблему всієї системи штучного інтелекту. Вирівнювання в традиційному розумінні, що поведінка моделі відповідає намірам користувача, безумовно, є частиною цього.
Але також будуть інші проблеми, наприклад, як ми перевіряємо, що роблять системи, що ми хочемо, щоб вони робили, і як ми регулюємо цінність системи. Найважливіше бачити загальну картину безпеки AGI.
Все інше важко без технічного рішення. Я вважаю, що дуже важливо зосередитися на тому, щоб переконатися, що ми розглядаємо технічні аспекти безпеки. Як я вже згадував, визначення наших цінностей — це не технічне питання. Хоча це вимагає технічного внеску, це питання, яке заслуговує на глибоке обговорення всім суспільством. Ми повинні розробляти системи, які є справедливими, репрезентативними та інклюзивними.
Чжан Хунцзян: Для узгодження те, що ми бачимо, GPT-4 все ще є рішенням з технічної точки зору. Але є багато інших факторів, крім технологій, часто системних. Можливо, безпека штучного інтелекту не є винятком. Крім технічних аспектів, які інші фактори та проблеми? Як ви вважаєте, чи це важливо для безпеки ШІ? Як нам відповідати на ці виклики? Тим паче, що більшість із нас науковці. Що нам робити.
Сем Альтман: Це, звичайно, дуже складне питання. Але все інше важко без технічного рішення. Я вважаю, що для уряду дуже важливо зосередитися на тому, щоб ми врахували технічні аспекти безпеки. **Як я вже згадував, визначення наших цінностей не є технічним питанням. Це вимагає технічного внеску, але це також питання, яке заслуговує на глибоке обговорення всього суспільства. **Ми повинні розробляти системи, які є справедливими, репрезентативними та інклюзивними. **
І, як ви зазначили, нам потрібно думати про безпеку не лише самої моделі ШІ, а й системи в цілому.
Тому важливо мати можливість створювати безпечні класифікатори та детектори, які працюють у системах, які контролюють ШІ на відповідність політикам використання. Я думаю, що важко заздалегідь передбачити всі проблеми, які виникнуть з будь-якою технологією. Тому вчіться на досвіді використання в реальному світі та розгортайте його ітеративно, щоб побачити, що відбувається, коли ви насправді створюєте реальність і покращуєте її.
Також важливо дати людям і суспільству час на навчання та оновлення, а також на те, щоб подумати про те, як ці моделі взаємодіятимуть із їхнім життям як добре, так і погано.
Потрібна співпраця всіх країн
Чжан Хунцзян: Раніше ви згадували про глобальну співпрацю. Ви подорожуєте по всьому світу. Китай, Сполучені Штати та Європа є рушійними силами інновацій штучного інтелекту. На вашу думку, у AGI, які переваги різних країн для вирішення проблеми AGI, особливо для вирішення проблема безпеки людини?питання. Як можна поєднати ці сильні сторони?
Сем Альтман: Я думаю, що загалом потрібно багато різних точок зору та безпеки ШІ. Ми ще не маємо відповідей на всі питання, і це досить складне і важливе питання.
Крім того, як уже згадувалося, це не суто технічне питання, щоб зробити ШІ безпечним і корисним. Включає розуміння уподобань користувачів у різних країнах у дуже різних контекстах. Нам потрібно багато різних вхідних даних, щоб це сталося. У Китаї є одні з найкращих талантів у сфері ШІ у світі. По суті, я вважаю, що найкращі уми з усього світу потрібні для вирішення труднощів узгодження передових систем ШІ. Тож я справді сподіваюся, що китайські дослідники штучного інтелекту зможуть зробити тут великий внесок.
Потрібна зовсім інша архітектура, щоб зробити AGI безпечнішим
Чжан Хунцзян: Додаткові запитання про GPT-4 і безпеку ШІ. Чи можливо, що нам потрібно змінити всю інфраструктуру або всю архітектуру моделі AGI? Щоб безпечніше і легше проходити перевірку.
Сем Альтман: Цілком можливо, що нам потрібні дуже різні архітектури як з функціональної точки зору, так і з точки зору безпеки.
Я думаю, ми зможемо досягти певного прогресу, значного прогресу в поясненні можливостей наших різних моделей прямо зараз, і змусити їх краще пояснити нам, що вони роблять і чому. Але так, я не здивуюся, якщо після «Трансформера» станеться ще один гігантський стрибок. Ми змінили багато архітектури з часу оригінального Трансформера.
Можливість OpenAI з відкритим кодом
Чжан Хунцзян: Я розумію, що сьогоднішній форум присвячений безпеці штучного інтелекту, тому що люди дуже цікавляться OpenAI, тож у мене є багато запитань про OpenAI, а не лише щодо безпеки штучного інтелекту. У мене є запитання аудиторії: чи є плани OpenAI знову відкрити вихідний код своїх моделей, як це було до версії 3.0? Я також вважаю, що відкритий код хороший для безпеки ШІ.
Сем Альтман: Деякі з наших моделей є з відкритим кодом, а деякі – ні, але з плином часу я думаю, ви повинні очікувати, що ми продовжуватимемо відкривати код більше моделей у майбутньому. У мене немає конкретної моделі чи термінів, але це те, що ми зараз обговорюємо.
Чжан Хунцзян: BAAI докладає всіх зусиль до відкритого коду, включаючи самі моделі та алгоритми. Ми вважаємо, що у нас є така потреба, ділитися та віддавати, що ви сприймаєте як те, що вони контролюють. Чи є у вас подібні ідеї, чи ці теми обговорювалися серед ваших однолітків чи колег з OpenAI?
Сем Альтман: Так, **я думаю, що відкритий вихідний код певною мірою відіграє важливу роль. **
Останнім часом також з’явилося багато нових моделей з відкритим кодом. Я думаю, що модель API також відіграє важливу роль. Це надає нам додаткові засоби контролю безпеки. Ви можете заблокувати певне використання. Ви можете заблокувати певні типи налаштувань. Якщо щось не працює, ви можете забрати це назад. У масштабах нинішньої моделі я не надто переживаю з цього приводу. Але оскільки модель стає настільки потужною, якою ми очікуємо, якщо ми маємо рацію, я вважаю, що відкритий код може бути не найкращим шляхом, хоча іноді це правильно. **Я думаю, що нам просто потрібно ретельно це збалансувати. **
У майбутньому у нас буде більше великих моделей з відкритим кодом, але конкретної моделі та розкладу немає.
Наступний крок для AGI? Чи скоро ми побачимо GPT-5?
Чжан Хунцзян: Як досліднику, мені також цікаво, який наступний напрямок досліджень AGI? З точки зору великих моделей, великих мовних моделей, чи побачимо ми скоро GPT-5? Чи наступний рубіж у втілених моделях? Чи є автономна робототехніка сферою, яку OpenAI є або планує досліджувати?
Сем Альтман: Мені також цікаво, що буде далі, і одна з моїх улюблених речей у цій роботі полягає в тому, що передові дослідження викликають багато хвилювання та несподіванок. Ми ще не маємо відповідей, тому ми досліджуємо багато можливих нових парадигм. Звичайно, в якийсь момент ми спробуємо зробити модель GPT-5, але не найближчим часом. Ми не знаємо, коли саме. Ми працюємо над робототехнікою з самого початку OpenAI, і нам це дуже цікаво, але у нас виникли деякі труднощі. Сподіваюся, одного дня ми зможемо повернутися до цієї сфери.
Чжан Хунцзян: Звучить чудово. Ви також згадали у своїй презентації, як ви використовуєте GPT-4, щоб пояснити, як працює GPT-2, роблячи модель більш безпечною. Чи масштабується цей підхід? Чи буде OpenAI розвиватися в цьому напрямку в майбутньому?
Сем Альтман: Ми продовжуватимемо працювати в цьому напрямку.
Чжан Хунцзян: Як ви думаєте, чи можна застосувати цей метод до біологічних нейронів? Тому що причина, чому я ставлю це запитання, полягає в тому, що є деякі біологи та нейробіологи, які хочуть запозичити цей метод, щоб вивчати та досліджувати, як нейрони людини працюють у своїй галузі.
Сем Альтман: Набагато легше побачити, що відбувається на штучних нейронах, ніж на біологічних. **Тож я думаю, що цей підхід справедливий для штучних нейронних мереж. **Я думаю, що є спосіб використовувати більш потужні моделі, щоб допомогти нам зрозуміти інші моделі. Але я не зовсім впевнений, як би ви застосували цей підхід до людського мозку.
Чи можливо контролювати кількість моделей
Чжан Хунцзян: Добре, дякую. Тепер, коли ми поговорили про безпеку штучного інтелекту та керування AGI, одне з питань, яке ми обговорювали, чи було б безпечніше, якби у світі було лише три моделі? Це як ядерний контроль, ви не хочете, щоб ядерна зброя поширювалася. У нас є договір, за яким ми намагаємося контролювати кількість країн, які можуть отримати цю технологію. Отже, чи можна контролювати кількість моделей?
Сем Альтман: Я думаю, що існують різні думки щодо того, що безпечніше мати у світі модель меншості чи модель більшості. Я вважаю, що важливіше, чи є у нас система, у якій будь-яка надійна модель адекватно перевіряється на безпеку? Чи є у нас структура, за якої будь-хто, хто створює достатньо надійну модель, має ресурси та відповідальність за те, щоб те, що вони створюють, було безпечним і узгодженим?
Чжан Хунцзян: На цій зустрічі вчора професор Макс з Інституту майбутнього життя Массачусетського технологічного інституту згадав про можливий метод, подібний до того, як ми контролюємо розробку ліків. Коли вчені або компанії розробляють нові ліки, ви не можете напряму продавати їх. Ви повинні пройти цей процес тестування. Чи можна цьому навчитися?
Сем Альтман: Я точно вважаю, що ми можемо багато чому навчитися з ліцензійних і тестових систем, які були розроблені в різних галузях. Але я думаю, що принципово ми маємо щось, що може працювати.
Чжан Хунцзян: Дуже дякую, Семе. Дякуємо, що знайшли час відвідати цю зустріч, хоча й онлайн. Я впевнений, що є ще багато питань, але враховуючи час, ми повинні зупинитися на цьому. Я сподіваюся, що наступного разу, коли у вас буде можливість приїхати до Китаю, приїжджайте до Пекіна, ми зможемо провести більш глибоку дискусію. Велике спасибі.