10 июня основатель OpenAI Сэм Альтман появился на конференции по искусственному интеллекту Чжиюань 2023 года, проходившей в Пекине, Китай, по видеосвязи.Это был первый раз, когда Альтман выступил перед китайской аудиторией.
В своем выступлении Альтман процитировал «Дао Дэ Цзин» и рассказал о сотрудничестве между крупными странами, заявив, что безопасность ИИ начинается с одного шага, и необходимо осуществлять сотрудничество и координацию между странами.
Затем Альтман согласился ответить на вопросы один на один с Чжаном Хунцзяном, председателем Исследовательского института Чжиюань.
Доктор Чжан Хунцзян в настоящее время является председателем Пекинского научно-исследовательского института искусственного интеллекта Чжиюань, а также независимым директором и консультантом в нескольких компаниях. Он был исполнительным директором и генеральным директором Kingsoft Group и генеральным директором Kingsoft Cloud.Он был одним из основателей азиатского исследовательского института Microsoft.) Декан и Microsoft «Заслуженный научный сотрудник».
До прихода в Microsoft Чжан Хунцзян был менеджером Hewlett-Packard Labs в Силиконовой долине, США, а до этого также работал в Институте системных наук Национального университета Сингапура.
Основное содержание выступления Альтмана:
Причина, по которой нынешняя революция ИИ так эффективна, заключается не только в масштабе ее воздействия, но и в скорости ее развития. Это приносит как дивиденды, так и риски.
С появлением все более мощных систем искусственного интеллекта важность глобального сотрудничества как никогда высока. В некоторых важных событиях страны должны сотрудничать и координировать свои действия. Повышение безопасности AGI — одна из важнейших областей, в которой нам необходимо найти общие интересы.
Согласование остается нерешенным вопросом. На работы по центровке ГПТ-4 ушло восемь месяцев. Тем не менее, соответствующие исследования все еще обновляются, в основном разделенные на два аспекта: масштабируемость и интерпретируемость.
Основное содержание сессии вопросов и ответов:
В течение десяти лет у людей появится мощная система искусственного интеллекта (ИИ).
OpenAI не имеет соответствующего нового графика для открытого исходного кода Модель с открытым исходным кодом имеет преимущества, но открытый исходный код может быть не лучшим путем (для содействия развитию ИИ).
Разобраться в нейронных сетях намного проще, чем в человеческом мозгу.
В какой-то момент попробую сделать модель GPT-5, но не скоро. Я не знаю, когда появится конкретный GPT-5.
Безопасность ИИ требует участия и вклада китайских исследователей.
Примечание. «Согласование ИИ» является наиболее важным вопросом в задачах управления ИИ, то есть цель системы ИИ должна быть согласована с человеческими ценностями и интересами (последовательно).
Содержание речи Сэма Альтмана:
С появлением все более мощных систем искусственного интеллекта ставки глобального сотрудничества стали как никогда высокими.
Если мы не будем осторожны, неуместная система искусственного интеллекта, предназначенная для улучшения показателей общественного здравоохранения, может нарушить работу всей системы здравоохранения, дав необоснованные рекомендации. Точно так же системы ИИ, предназначенные для оптимизации сельскохозяйственного производства, могут непреднамеренно истощать природные ресурсы или наносить ущерб экосистемам из-за отсутствия учета долгосрочной устойчивости, влияющей на производство продуктов питания, экологический баланс.
Надеюсь, мы все согласимся с тем, что повышение безопасности AGI — одна из самых важных областей, в которой нам необходимо работать вместе и находить точки соприкосновения.
Остальная часть моей презентации будет сосредоточена на том, с чего мы можем начать: ** 1. Первая область — это управление ОИИ**, ОИИ по сути стал мощной силой для изменений в нашей цивилизации, подчеркивая необходимость значимого международного сотрудничества и координации. Все выигрывают от совместного подхода к управлению. Если мы пойдем по этому пути безопасно и ответственно, системы AgI могут обеспечить беспрецедентное экономическое процветание мировой экономики, решать общие проблемы, такие как изменение климата и глобальная безопасность в области здравоохранения, а также повышать социальное благополучие.
Я также глубоко верю в будущее. Нам нужно инвестировать в безопасность AGI, чтобы достичь того, чего мы хотим, и получать от этого удовольствие.
Для этого нам нужна тщательная координация. Это глобальная технология с глобальным охватом. Стоимость несчастных случаев, вызванных безрассудной разработкой и развертыванием, коснется всех нас.
В международном сотрудничестве, я думаю, есть два ключевых направления, которые являются наиболее важными.
Прежде всего нам необходимо установить международные нормы и стандарты и обратить внимание на инклюзивность процесса. Использование систем AGI в любой стране должно одинаково и последовательно соответствовать таким международным стандартам и нормам. Мы считаем, что в пределах этих ограждений безопасности у людей есть широкие возможности сделать свой собственный выбор.
Во-вторых, нам абсолютно необходимо международное сотрудничество для надежного укрепления международного доверия к безопасной разработке все более мощных систем искусственного интеллекта. У меня нет иллюзий, что это простая задача, требующая большого посвященного и постоянного внимания. **
Дао Дэ Цзин говорит нам: Путь в тысячу миль начинается с одного шага. Мы считаем, что наиболее конструктивным первым шагом в этом отношении является сотрудничество с международным научно-техническим сообществом.
Что необходимо подчеркнуть, так это то, что мы должны усилить механизм прозрачности и обмена знаниями в содействии техническому прогрессу. Когда дело доходит до безопасности ОИИ, исследователи, которые выявляют возникающие проблемы безопасности, должны делиться своими знаниями для общего блага.
Нам нужно хорошо подумать о том, как мы можем уважать и защищать интеллектуальную собственность, поощряя при этом эту норму. Если мы это сделаем, то это откроет нам новые возможности для углубления нашего сотрудничества.
В более широком смысле, мы должны инвестировать в продвижение и руководство исследованиями по настройке и безопасности ИИ.
Наши исследования в Open AI сегодня сосредоточены на технических проблемах, которые позволяют ИИ играть полезную и более безопасную роль в наших нынешних системах. Это также может означать, что мы обучаем ChatGPT таким образом, чтобы он не угрожал насилием и не помогал пользователям совершать вредные действия.
Но по мере того, как мы приближаемся к эпохе ОИИ, потенциальное влияние и масштабы воздействия неприсоединившихся систем ИИ будут расти в геометрической прогрессии. Активное решение этих проблем сейчас сводит к минимуму риск катастрофических последствий в будущем.
Для текущей системы мы в основном используем обучение с подкреплением с обратной связью от человека, чтобы научить нашу модель быть полезным помощником по безопасности. Это всего лишь один из примеров различных техник корректировки после тренировки. И мы также усердно работаем над новыми технологиями, которые требуют большой инженерной работы.
С момента завершения предварительной подготовки GPT4 до ее развертывания мы посвящаем 8 месяцев работе по настройке. В целом, мы думаем, что мы делаем хорошую работу здесь. GPT4 более ориентирован на человека, чем любая из наших предыдущих моделей.
Однако согласование остается открытой проблемой для более продвинутых систем, которые, как мы утверждаем, требуют новых технических подходов с улучшенным управлением и контролем.
Для будущих систем AGI предлагается 100 000 строк двоичного кода. Руководители-люди вряд ли узнают, делает ли такая модель что-то гнусное. Поэтому мы инвестируем в некоторые новые дополнительные направления исследований, которые, как мы надеемся, приведут к прорывам.
** **Одним из них является масштабируемый контроль. Мы можем попытаться использовать системы ИИ, чтобы помочь людям контролировать другие системы ИИ. Например, мы можем обучить модель, чтобы помочь человеку находить недостатки в результатах других моделей. **
Вторая — интерпретационная способность. Мы хотели попытаться лучше понять, что происходит внутри этих моделей. Недавно мы опубликовали статью об использовании GPT-4 для интерпретации нейронов в GPT-2. ** В другой статье мы используем Model Internals, чтобы определить, когда модель лжет. ** Нам еще предстоит пройти долгий путь. Мы считаем, что передовые методы машинного обучения могут еще больше улучшить нашу способность объяснять.
В конечном счете, наша цель — научить системы ИИ помогать в исследованиях выравнивания. **Прелесть этого подхода в том, что его можно масштабировать со скоростью разработки ИИ.
Получение исключительных преимуществ от AGI при одновременном снижении рисков — одна из важнейших задач нашего времени. Мы видим большой потенциал для исследователей в Китае, США и во всем мире для совместной работы над достижением одной цели и усердной работы над решением технических проблем, связанных с согласованием AGI.
Если мы это сделаем, я верю, что мы сможем использовать ОИИ для решения самых важных мировых проблем и значительно улучшить качество жизни людей. Большое спасибо.
Ниже приводится стенограмма разговора:
В ближайшие десять лет у нас будет очень мощная система искусственного интеллекта
Чжан Хунцзян, председатель Исследовательского института Чжиюань, спросил: ** Насколько мы далеки от общего искусственного интеллекта (AGI)? Является ли риск срочным или мы далеки от него? **
Сэм Альтман: Трудно сказать, когда. **Вполне вероятно, что в ближайшие десять лет у нас появятся очень мощные системы искусственного интеллекта, а новые технологии коренным образом изменят мир быстрее, чем мы думаем. ** В этом мире я думаю, что важно и срочно сделать эту вещь (правила безопасности ИИ) правильной, поэтому я призываю международное сообщество работать вместе.
В некотором смысле ускорение и системное влияние новых технологий, которые мы наблюдаем сейчас, беспрецедентны. Поэтому я думаю, что речь идет о том, чтобы быть готовым к тому, что грядет, и осознавать проблемы безопасности. Учитывая огромные масштабы ИИ, ставки значительны.
На ваш взгляд, в области безопасности ОИИ, каковы преимущества разных стран для решения этой проблемы, особенно для решения вопросов безопасности ИИ. Как можно объединить эти сильные стороны?
Глобальное сотрудничество для разработки стандартов и рамок безопасности для ИИ
Чжан Хунцзян: Вы несколько раз упомянули в предыдущем вступительном слове, что идет глобальное сотрудничество. Мы знаем, что в прошлом мир сталкивался со значительными кризисами. Каким-то образом по многим из них нам удалось достичь консенсуса, наладить глобальное сотрудничество. Вы также находитесь в мировом турне, какое глобальное сотрудничество вы пытаетесь продвигать?
Сэм Альтман: Да, я очень доволен реакцией и ответами каждого. Я думаю, что люди очень серьезно относятся к рискам и возможностям AGI.
Я думаю, что обсуждение безопасности прошло долгий путь за последние 6 месяцев. Кажется, существует реальная приверженность разработке структуры, которая позволит нам пользоваться этими преимуществами, работая вместе над снижением рисков во всем мире. Я думаю, что мы очень хорошо подходим для этого. Глобальное сотрудничество всегда сложно, но я вижу в нем возможность и угрозу объединить мир. Было бы очень полезно, если бы мы могли разработать структуру и стандарты безопасности для этих систем.
Как решить проблему выравнивания искусственного интеллекта
Чжан Хунцзян: Вы упомянули, что согласование передового искусственного интеллекта — нерешенная проблема. Я также заметил, что OpenAI приложил много усилий за последние несколько лет. Вы упомянули, что GPT-4 на сегодняшний день является лучшим примером в области юстировки. Как вы думаете, сможем ли мы решить проблемы безопасности AGI просто путем тонкой настройки (API)? Или это намного сложнее, чем то, как решается эта проблема?
Сэм Альтман: Я думаю, что есть разные способы понимания слова «выравнивание». Я думаю, что нам нужно решить проблему всей системы искусственного интеллекта, частью которой, безусловно, является согласование в традиционном понимании поведения модели с намерением пользователя.
Но будут и другие проблемы, например, как мы проверяем, что делают системы, что мы от них хотим и как мы корректируем ценность системы. Очень важно видеть общую картину безопасности AGI.
Все остальное сложно без технического решения. Я думаю, что действительно важно сосредоточиться на том, чтобы убедиться, что мы обращаемся к техническим аспектам безопасности. Как я уже упоминал, выяснить, каковы наши ценности, — это не технический вопрос. Хотя это требует технического участия, это вопрос, достойный всестороннего обсуждения всем обществом. Мы должны разрабатывать системы, которые будут справедливыми, репрезентативными и инклюзивными.
Чжан Хунцзян: Что касается выравнивания, то, что мы видим, GPT-4 по-прежнему является решением с технической точки зрения. Но кроме технологий есть еще много других факторов, зачастую системных. Безопасность ИИ здесь не может быть исключением. Помимо технических аспектов, каковы другие факторы и проблемы? Считаете ли вы, что это критично для безопасности ИИ? Как мы должны реагировать на эти вызовы? Тем более, что большинство из нас ученые. Что нам делать.
Сэм Альтман: Это, безусловно, очень сложный вопрос. Но все остальное сложно без технического решения. Я думаю, что правительству очень важно сосредоточиться на том, чтобы мы уделили внимание техническим аспектам безопасности. **Как я уже упоминал, выяснить, каковы наши ценности, — это не технический вопрос. Это требует технического вклада, но это также вопрос, достойный глубокого обсуждения всем обществом. ** Мы должны разрабатывать справедливые, репрезентативные и инклюзивные системы. **
И, как вы указываете, нам нужно думать о безопасности не только самой модели ИИ, но и системы в целом.
Поэтому важно иметь возможность создавать безопасные классификаторы и детекторы, работающие в системах, которые контролируют ИИ на соответствие политикам использования. Думаю, сложно заранее предсказать все проблемы, которые возникнут с любой технологией. Так что извлекайте уроки из реального мира и применяйте его итеративно, чтобы увидеть, что происходит, когда вы на самом деле создаете реальность и улучшаете ее.
Также важно дать людям и обществам время на изучение и обновление, а также на размышления о том, как эти модели будут взаимодействовать с их жизнями как в хорошем, так и в плохом смысле.
Требуется сотрудничество всех стран
Чжан Хунцзян: Ранее вы упомянули глобальное сотрудничество. Вы путешествовали по миру. Китай, США и Европа являются движущими силами инноваций в области искусственного интеллекта. По вашему мнению, в ОИИ, каковы преимущества разных стран для решения проблемы ОИИ, особенно для решения проблемы проблема безопасности человека? Как можно объединить эти сильные стороны?
Сэм Альтман: Я думаю, что обычно требуется много разных точек зрения и безопасность ИИ. У нас пока нет ответов на все вопросы, и это довольно сложный и важный вопрос.
Кроме того, как уже упоминалось, сделать ИИ безопасным и полезным — это не чисто технический вопрос. Включает в себя понимание предпочтений пользователей в разных странах в очень разных контекстах. Нам нужно много разных материалов, чтобы это произошло. В Китае одни из лучших талантов в области искусственного интеллекта в мире. По сути, я думаю, что лучшие умы со всего мира необходимы для решения проблемы согласования передовых систем искусственного интеллекта. Поэтому я очень надеюсь, что китайские исследователи ИИ могут внести здесь большой вклад.
Требуется совсем другая архитектура, чтобы сделать AGI более безопасным
Чжан Хунцзян: Дополнительные вопросы о безопасности GPT-4 и ИИ. Возможно ли, что нам нужно изменить всю инфраструктуру или всю архитектуру модели AGI. Чтобы было проще и безопаснее пройти проверку.
Сэм Альтман: Вполне возможно, что нам нужны очень разные архитектуры, как с функциональной точки зрения, так и с точки зрения безопасности.
Я думаю, что мы сможем добиться некоторого прогресса, хорошего прогресса в объяснении возможностей наших различных моделей прямо сейчас и заставить их лучше объяснять нам, что они делают и почему. Но да, я не удивлюсь, если после «Трансформера» произойдет еще один гигантский скачок. Мы сильно изменили архитектуру со времен оригинального Transformer.
Возможность OpenAI с открытым исходным кодом
Чжан Хунцзян: Я понимаю, что сегодняшний форум посвящен безопасности ИИ, потому что людям очень интересно узнать об OpenAI, поэтому у меня много вопросов об OpenAI, а не только о безопасности ИИ. У меня есть вопрос аудитории: есть ли у OpenAI какие-либо планы по повторному открытию исходного кода своих моделей, как это было до версии 3.0? Я также думаю, что открытый исходный код хорош для безопасности ИИ.
Сэм Альтман: Некоторые из наших моделей имеют открытый исходный код, а некоторые нет, но со временем, я думаю, вы должны ожидать, что в будущем мы продолжим открывать исходный код для большего количества моделей. У меня нет конкретной модели или графика, но это то, что мы обсуждаем прямо сейчас.
Чжан Хунцзян: BAAI делает все возможное с открытым исходным кодом, включая сами модели и алгоритмы. Мы считаем, что у нас есть эта потребность, делиться и давать то, что вы воспринимаете как то, что они контролируют. Есть ли у вас похожие идеи, или эти темы обсуждались вашими коллегами или коллегами в OpenAI.
Сэм Альтман: Да, ** я думаю, что открытый исходный код действительно играет важную роль. **
В последнее время также появилось много новых моделей с открытым исходным кодом. Я думаю, что модель API также играет важную роль. Это предоставляет нам дополнительные средства контроля безопасности. Вы можете заблокировать определенные виды использования. Вы можете заблокировать определенные типы настроек. Если что-то не работает, можно вернуть. В масштабе текущей модели я не слишком беспокоюсь об этом. Но по мере того, как модель становится такой мощной, как мы ожидаем, если мы правы в этом, я думаю, что открытый исходный код может быть не лучшим путем, хотя иногда это правильно. ** Я думаю, нам просто нужно тщательно сбалансировать это. **
В будущем у нас будет больше крупных моделей с открытым исходным кодом, но конкретной модели и расписания пока нет.
Следующий шаг для AGI? Увидим ли мы GPT-5 в ближайшее время?
Чжан Хунцзян: Мне, как исследователю, тоже любопытно, каковы следующие направления исследований ОИИ? С точки зрения больших моделей, больших языковых моделей, скоро ли мы увидим GPT-5? Следующий рубеж в воплощенных моделях? Является ли автономная робототехника областью, которую OpenAI изучает или планирует исследовать?
Сэм Альтман: Мне также любопытно, что будет дальше, и одна из моих любимых вещей в этой работе — это то, что передовые исследования вызывают много волнения и удивления. У нас пока нет ответов, поэтому мы изучаем множество возможных новых парадигм. Конечно, когда-нибудь мы попробуем сделать модель GPT-5, но не в ближайшее время. Мы не знаем, когда именно. Мы занимаемся робототехникой с самого начала OpenAI, и нам это очень интересно, но у нас были некоторые трудности. Я надеюсь, что однажды мы сможем вернуться в эту область.
Чжан Хунцзян: Звучит здорово. Вы также упомянули в своей презентации, как вы используете GPT-4, чтобы объяснить, как работает GPT-2, делая модель более безопасной. Является ли этот подход масштабируемым? В этом ли направлении OpenAI будет продолжать развиваться в будущем?
Сэм Альтман: Мы будем продолжать двигаться в этом направлении.
Чжан Хунцзян: Как вы думаете, можно ли применить этот метод к биологическим нейронам? Потому что причина, по которой я задаю этот вопрос, заключается в том, что есть некоторые биологи и нейробиологи, которые хотят позаимствовать этот метод для изучения и изучения того, как работают нейроны человека в своей области.
Сэм Альтман: Гораздо легче увидеть, что происходит на искусственных нейронах, чем на биологических нейронах. **Поэтому я думаю, что этот подход подходит для искусственных нейронных сетей. ** Я думаю, что есть способ использовать более мощные модели, чтобы помочь нам понять другие модели. Но я не совсем уверен, как бы вы применили этот подход к человеческому мозгу.
Возможно ли контролировать количество моделей
Чжан Хунцзян: Хорошо, спасибо. Теперь, когда мы поговорили о безопасности ИИ и управлении ОИИ, один из вопросов, который мы обсуждали, — не было бы безопаснее, если бы в мире было всего три модели? Это как ядерный контроль, вы не хотите, чтобы ядерное оружие распространялось. У нас есть договор, в котором мы пытаемся контролировать количество стран, которые могут получить эту технологию. Так является ли управление количеством моделей возможным направлением?
Сэм Альтман: Я думаю, что существуют разные мнения о том, что безопаснее: модель меньшинства или модель большинства в мире. Я думаю, что более важно, есть ли у нас система, в которой любая надежная модель адекватно проверяется на безопасность? Есть ли у нас структура, в которой каждый, кто создает достаточно надежную модель, имеет как ресурсы, так и ответственность за то, чтобы то, что он создает, было безопасным и согласованным?
Чжан Хунцзян: На вчерашней встрече профессор Макс из Института будущего жизни Массачусетского технологического института упомянул возможный метод, аналогичный тому, как мы контролируем разработку лекарств. Когда ученые или компании разрабатывают новые лекарства, вы не можете продавать их напрямую. Вы должны пройти через этот процесс тестирования. Это то, чему мы можем научиться?
Сэм Альтман: Я определенно думаю, что мы можем многому научиться из схем лицензирования и тестирования, разработанных в разных отраслях. Но я думаю, что в принципе у нас есть что-то, что может работать.
Чжан Хунцзян: Большое спасибо, Сэм. Спасибо, что нашли время посетить эту встречу, хотя и онлайн. Я уверен, что есть еще много вопросов, но, учитывая время, мы должны остановиться здесь. Я надеюсь, что в следующий раз, когда у вас будет возможность приехать в Китай, приехать в Пекин, мы сможем провести более подробное обсуждение. большое спасибо.
Посмотреть Оригинал
Содержание носит исключительно справочный характер и не является предложением или офертой. Консультации по инвестициям, налогообложению или юридическим вопросам не предоставляются. Более подробную информацию о рисках см. в разделе «Дисклеймер».
Полный текст здесь! Чжан Хунцзян беседует с OpenAI Altman: AGI коренным образом изменит цивилизацию, и GPT-5 скоро не будет
Источник: Новости Уолл-Стрит.
Автор: Гэ Цзямин
10 июня основатель OpenAI Сэм Альтман появился на конференции по искусственному интеллекту Чжиюань 2023 года, проходившей в Пекине, Китай, по видеосвязи.Это был первый раз, когда Альтман выступил перед китайской аудиторией.
В своем выступлении Альтман процитировал «Дао Дэ Цзин» и рассказал о сотрудничестве между крупными странами, заявив, что безопасность ИИ начинается с одного шага, и необходимо осуществлять сотрудничество и координацию между странами.
Затем Альтман согласился ответить на вопросы один на один с Чжаном Хунцзяном, председателем Исследовательского института Чжиюань.
Доктор Чжан Хунцзян в настоящее время является председателем Пекинского научно-исследовательского института искусственного интеллекта Чжиюань, а также независимым директором и консультантом в нескольких компаниях. Он был исполнительным директором и генеральным директором Kingsoft Group и генеральным директором Kingsoft Cloud.Он был одним из основателей азиатского исследовательского института Microsoft.) Декан и Microsoft «Заслуженный научный сотрудник».
До прихода в Microsoft Чжан Хунцзян был менеджером Hewlett-Packard Labs в Силиконовой долине, США, а до этого также работал в Институте системных наук Национального университета Сингапура. Основное содержание выступления Альтмана:
Основное содержание сессии вопросов и ответов:
Примечание. «Согласование ИИ» является наиболее важным вопросом в задачах управления ИИ, то есть цель системы ИИ должна быть согласована с человеческими ценностями и интересами (последовательно).
Содержание речи Сэма Альтмана:
С появлением все более мощных систем искусственного интеллекта ставки глобального сотрудничества стали как никогда высокими.
Если мы не будем осторожны, неуместная система искусственного интеллекта, предназначенная для улучшения показателей общественного здравоохранения, может нарушить работу всей системы здравоохранения, дав необоснованные рекомендации. Точно так же системы ИИ, предназначенные для оптимизации сельскохозяйственного производства, могут непреднамеренно истощать природные ресурсы или наносить ущерб экосистемам из-за отсутствия учета долгосрочной устойчивости, влияющей на производство продуктов питания, экологический баланс.
Надеюсь, мы все согласимся с тем, что повышение безопасности AGI — одна из самых важных областей, в которой нам необходимо работать вместе и находить точки соприкосновения.
Я также глубоко верю в будущее. Нам нужно инвестировать в безопасность AGI, чтобы достичь того, чего мы хотим, и получать от этого удовольствие.
Для этого нам нужна тщательная координация. Это глобальная технология с глобальным охватом. Стоимость несчастных случаев, вызванных безрассудной разработкой и развертыванием, коснется всех нас.
В международном сотрудничестве, я думаю, есть два ключевых направления, которые являются наиболее важными.
Прежде всего нам необходимо установить международные нормы и стандарты и обратить внимание на инклюзивность процесса. Использование систем AGI в любой стране должно одинаково и последовательно соответствовать таким международным стандартам и нормам. Мы считаем, что в пределах этих ограждений безопасности у людей есть широкие возможности сделать свой собственный выбор.
Во-вторых, нам абсолютно необходимо международное сотрудничество для надежного укрепления международного доверия к безопасной разработке все более мощных систем искусственного интеллекта. У меня нет иллюзий, что это простая задача, требующая большого посвященного и постоянного внимания. **
Дао Дэ Цзин говорит нам: Путь в тысячу миль начинается с одного шага. Мы считаем, что наиболее конструктивным первым шагом в этом отношении является сотрудничество с международным научно-техническим сообществом.
Что необходимо подчеркнуть, так это то, что мы должны усилить механизм прозрачности и обмена знаниями в содействии техническому прогрессу. Когда дело доходит до безопасности ОИИ, исследователи, которые выявляют возникающие проблемы безопасности, должны делиться своими знаниями для общего блага.
Нам нужно хорошо подумать о том, как мы можем уважать и защищать интеллектуальную собственность, поощряя при этом эту норму. Если мы это сделаем, то это откроет нам новые возможности для углубления нашего сотрудничества.
В более широком смысле, мы должны инвестировать в продвижение и руководство исследованиями по настройке и безопасности ИИ.
Наши исследования в Open AI сегодня сосредоточены на технических проблемах, которые позволяют ИИ играть полезную и более безопасную роль в наших нынешних системах. Это также может означать, что мы обучаем ChatGPT таким образом, чтобы он не угрожал насилием и не помогал пользователям совершать вредные действия.
Но по мере того, как мы приближаемся к эпохе ОИИ, потенциальное влияние и масштабы воздействия неприсоединившихся систем ИИ будут расти в геометрической прогрессии. Активное решение этих проблем сейчас сводит к минимуму риск катастрофических последствий в будущем.
Для текущей системы мы в основном используем обучение с подкреплением с обратной связью от человека, чтобы научить нашу модель быть полезным помощником по безопасности. Это всего лишь один из примеров различных техник корректировки после тренировки. И мы также усердно работаем над новыми технологиями, которые требуют большой инженерной работы.
С момента завершения предварительной подготовки GPT4 до ее развертывания мы посвящаем 8 месяцев работе по настройке. В целом, мы думаем, что мы делаем хорошую работу здесь. GPT4 более ориентирован на человека, чем любая из наших предыдущих моделей.
Однако согласование остается открытой проблемой для более продвинутых систем, которые, как мы утверждаем, требуют новых технических подходов с улучшенным управлением и контролем.
Для будущих систем AGI предлагается 100 000 строк двоичного кода. Руководители-люди вряд ли узнают, делает ли такая модель что-то гнусное. Поэтому мы инвестируем в некоторые новые дополнительные направления исследований, которые, как мы надеемся, приведут к прорывам.
**
**Одним из них является масштабируемый контроль. Мы можем попытаться использовать системы ИИ, чтобы помочь людям контролировать другие системы ИИ. Например, мы можем обучить модель, чтобы помочь человеку находить недостатки в результатах других моделей. **
Вторая — интерпретационная способность. Мы хотели попытаться лучше понять, что происходит внутри этих моделей. Недавно мы опубликовали статью об использовании GPT-4 для интерпретации нейронов в GPT-2. ** В другой статье мы используем Model Internals, чтобы определить, когда модель лжет. ** Нам еще предстоит пройти долгий путь. Мы считаем, что передовые методы машинного обучения могут еще больше улучшить нашу способность объяснять.
В конечном счете, наша цель — научить системы ИИ помогать в исследованиях выравнивания. **Прелесть этого подхода в том, что его можно масштабировать со скоростью разработки ИИ.
Получение исключительных преимуществ от AGI при одновременном снижении рисков — одна из важнейших задач нашего времени. Мы видим большой потенциал для исследователей в Китае, США и во всем мире для совместной работы над достижением одной цели и усердной работы над решением технических проблем, связанных с согласованием AGI.
Если мы это сделаем, я верю, что мы сможем использовать ОИИ для решения самых важных мировых проблем и значительно улучшить качество жизни людей. Большое спасибо.
Ниже приводится стенограмма разговора:
В ближайшие десять лет у нас будет очень мощная система искусственного интеллекта
Чжан Хунцзян, председатель Исследовательского института Чжиюань, спросил: ** Насколько мы далеки от общего искусственного интеллекта (AGI)? Является ли риск срочным или мы далеки от него? **
Сэм Альтман: Трудно сказать, когда. **Вполне вероятно, что в ближайшие десять лет у нас появятся очень мощные системы искусственного интеллекта, а новые технологии коренным образом изменят мир быстрее, чем мы думаем. ** В этом мире я думаю, что важно и срочно сделать эту вещь (правила безопасности ИИ) правильной, поэтому я призываю международное сообщество работать вместе.
В некотором смысле ускорение и системное влияние новых технологий, которые мы наблюдаем сейчас, беспрецедентны. Поэтому я думаю, что речь идет о том, чтобы быть готовым к тому, что грядет, и осознавать проблемы безопасности. Учитывая огромные масштабы ИИ, ставки значительны.
На ваш взгляд, в области безопасности ОИИ, каковы преимущества разных стран для решения этой проблемы, особенно для решения вопросов безопасности ИИ. Как можно объединить эти сильные стороны?
Глобальное сотрудничество для разработки стандартов и рамок безопасности для ИИ
Чжан Хунцзян: Вы несколько раз упомянули в предыдущем вступительном слове, что идет глобальное сотрудничество. Мы знаем, что в прошлом мир сталкивался со значительными кризисами. Каким-то образом по многим из них нам удалось достичь консенсуса, наладить глобальное сотрудничество. Вы также находитесь в мировом турне, какое глобальное сотрудничество вы пытаетесь продвигать?
Сэм Альтман: Да, я очень доволен реакцией и ответами каждого. Я думаю, что люди очень серьезно относятся к рискам и возможностям AGI.
Я думаю, что обсуждение безопасности прошло долгий путь за последние 6 месяцев. Кажется, существует реальная приверженность разработке структуры, которая позволит нам пользоваться этими преимуществами, работая вместе над снижением рисков во всем мире. Я думаю, что мы очень хорошо подходим для этого. Глобальное сотрудничество всегда сложно, но я вижу в нем возможность и угрозу объединить мир. Было бы очень полезно, если бы мы могли разработать структуру и стандарты безопасности для этих систем.
Как решить проблему выравнивания искусственного интеллекта
Чжан Хунцзян: Вы упомянули, что согласование передового искусственного интеллекта — нерешенная проблема. Я также заметил, что OpenAI приложил много усилий за последние несколько лет. Вы упомянули, что GPT-4 на сегодняшний день является лучшим примером в области юстировки. Как вы думаете, сможем ли мы решить проблемы безопасности AGI просто путем тонкой настройки (API)? Или это намного сложнее, чем то, как решается эта проблема?
Сэм Альтман: Я думаю, что есть разные способы понимания слова «выравнивание». Я думаю, что нам нужно решить проблему всей системы искусственного интеллекта, частью которой, безусловно, является согласование в традиционном понимании поведения модели с намерением пользователя.
Но будут и другие проблемы, например, как мы проверяем, что делают системы, что мы от них хотим и как мы корректируем ценность системы. Очень важно видеть общую картину безопасности AGI.
Все остальное сложно без технического решения. Я думаю, что действительно важно сосредоточиться на том, чтобы убедиться, что мы обращаемся к техническим аспектам безопасности. Как я уже упоминал, выяснить, каковы наши ценности, — это не технический вопрос. Хотя это требует технического участия, это вопрос, достойный всестороннего обсуждения всем обществом. Мы должны разрабатывать системы, которые будут справедливыми, репрезентативными и инклюзивными.
Чжан Хунцзян: Что касается выравнивания, то, что мы видим, GPT-4 по-прежнему является решением с технической точки зрения. Но кроме технологий есть еще много других факторов, зачастую системных. Безопасность ИИ здесь не может быть исключением. Помимо технических аспектов, каковы другие факторы и проблемы? Считаете ли вы, что это критично для безопасности ИИ? Как мы должны реагировать на эти вызовы? Тем более, что большинство из нас ученые. Что нам делать.
Сэм Альтман: Это, безусловно, очень сложный вопрос. Но все остальное сложно без технического решения. Я думаю, что правительству очень важно сосредоточиться на том, чтобы мы уделили внимание техническим аспектам безопасности. **Как я уже упоминал, выяснить, каковы наши ценности, — это не технический вопрос. Это требует технического вклада, но это также вопрос, достойный глубокого обсуждения всем обществом. ** Мы должны разрабатывать справедливые, репрезентативные и инклюзивные системы. **
И, как вы указываете, нам нужно думать о безопасности не только самой модели ИИ, но и системы в целом.
Поэтому важно иметь возможность создавать безопасные классификаторы и детекторы, работающие в системах, которые контролируют ИИ на соответствие политикам использования. Думаю, сложно заранее предсказать все проблемы, которые возникнут с любой технологией. Так что извлекайте уроки из реального мира и применяйте его итеративно, чтобы увидеть, что происходит, когда вы на самом деле создаете реальность и улучшаете ее.
Также важно дать людям и обществам время на изучение и обновление, а также на размышления о том, как эти модели будут взаимодействовать с их жизнями как в хорошем, так и в плохом смысле.
Требуется сотрудничество всех стран
Чжан Хунцзян: Ранее вы упомянули глобальное сотрудничество. Вы путешествовали по миру. Китай, США и Европа являются движущими силами инноваций в области искусственного интеллекта. По вашему мнению, в ОИИ, каковы преимущества разных стран для решения проблемы ОИИ, особенно для решения проблемы проблема безопасности человека? Как можно объединить эти сильные стороны?
Сэм Альтман: Я думаю, что обычно требуется много разных точек зрения и безопасность ИИ. У нас пока нет ответов на все вопросы, и это довольно сложный и важный вопрос.
Кроме того, как уже упоминалось, сделать ИИ безопасным и полезным — это не чисто технический вопрос. Включает в себя понимание предпочтений пользователей в разных странах в очень разных контекстах. Нам нужно много разных материалов, чтобы это произошло. В Китае одни из лучших талантов в области искусственного интеллекта в мире. По сути, я думаю, что лучшие умы со всего мира необходимы для решения проблемы согласования передовых систем искусственного интеллекта. Поэтому я очень надеюсь, что китайские исследователи ИИ могут внести здесь большой вклад.
Требуется совсем другая архитектура, чтобы сделать AGI более безопасным
Чжан Хунцзян: Дополнительные вопросы о безопасности GPT-4 и ИИ. Возможно ли, что нам нужно изменить всю инфраструктуру или всю архитектуру модели AGI. Чтобы было проще и безопаснее пройти проверку.
Сэм Альтман: Вполне возможно, что нам нужны очень разные архитектуры, как с функциональной точки зрения, так и с точки зрения безопасности.
Я думаю, что мы сможем добиться некоторого прогресса, хорошего прогресса в объяснении возможностей наших различных моделей прямо сейчас и заставить их лучше объяснять нам, что они делают и почему. Но да, я не удивлюсь, если после «Трансформера» произойдет еще один гигантский скачок. Мы сильно изменили архитектуру со времен оригинального Transformer.
Возможность OpenAI с открытым исходным кодом
Чжан Хунцзян: Я понимаю, что сегодняшний форум посвящен безопасности ИИ, потому что людям очень интересно узнать об OpenAI, поэтому у меня много вопросов об OpenAI, а не только о безопасности ИИ. У меня есть вопрос аудитории: есть ли у OpenAI какие-либо планы по повторному открытию исходного кода своих моделей, как это было до версии 3.0? Я также думаю, что открытый исходный код хорош для безопасности ИИ.
Сэм Альтман: Некоторые из наших моделей имеют открытый исходный код, а некоторые нет, но со временем, я думаю, вы должны ожидать, что в будущем мы продолжим открывать исходный код для большего количества моделей. У меня нет конкретной модели или графика, но это то, что мы обсуждаем прямо сейчас.
Чжан Хунцзян: BAAI делает все возможное с открытым исходным кодом, включая сами модели и алгоритмы. Мы считаем, что у нас есть эта потребность, делиться и давать то, что вы воспринимаете как то, что они контролируют. Есть ли у вас похожие идеи, или эти темы обсуждались вашими коллегами или коллегами в OpenAI.
Сэм Альтман: Да, ** я думаю, что открытый исходный код действительно играет важную роль. **
В последнее время также появилось много новых моделей с открытым исходным кодом. Я думаю, что модель API также играет важную роль. Это предоставляет нам дополнительные средства контроля безопасности. Вы можете заблокировать определенные виды использования. Вы можете заблокировать определенные типы настроек. Если что-то не работает, можно вернуть. В масштабе текущей модели я не слишком беспокоюсь об этом. Но по мере того, как модель становится такой мощной, как мы ожидаем, если мы правы в этом, я думаю, что открытый исходный код может быть не лучшим путем, хотя иногда это правильно. ** Я думаю, нам просто нужно тщательно сбалансировать это. **
В будущем у нас будет больше крупных моделей с открытым исходным кодом, но конкретной модели и расписания пока нет.
Следующий шаг для AGI? Увидим ли мы GPT-5 в ближайшее время?
Чжан Хунцзян: Мне, как исследователю, тоже любопытно, каковы следующие направления исследований ОИИ? С точки зрения больших моделей, больших языковых моделей, скоро ли мы увидим GPT-5? Следующий рубеж в воплощенных моделях? Является ли автономная робототехника областью, которую OpenAI изучает или планирует исследовать?
Сэм Альтман: Мне также любопытно, что будет дальше, и одна из моих любимых вещей в этой работе — это то, что передовые исследования вызывают много волнения и удивления. У нас пока нет ответов, поэтому мы изучаем множество возможных новых парадигм. Конечно, когда-нибудь мы попробуем сделать модель GPT-5, но не в ближайшее время. Мы не знаем, когда именно. Мы занимаемся робототехникой с самого начала OpenAI, и нам это очень интересно, но у нас были некоторые трудности. Я надеюсь, что однажды мы сможем вернуться в эту область.
Чжан Хунцзян: Звучит здорово. Вы также упомянули в своей презентации, как вы используете GPT-4, чтобы объяснить, как работает GPT-2, делая модель более безопасной. Является ли этот подход масштабируемым? В этом ли направлении OpenAI будет продолжать развиваться в будущем?
Сэм Альтман: Мы будем продолжать двигаться в этом направлении.
Чжан Хунцзян: Как вы думаете, можно ли применить этот метод к биологическим нейронам? Потому что причина, по которой я задаю этот вопрос, заключается в том, что есть некоторые биологи и нейробиологи, которые хотят позаимствовать этот метод для изучения и изучения того, как работают нейроны человека в своей области.
Сэм Альтман: Гораздо легче увидеть, что происходит на искусственных нейронах, чем на биологических нейронах. **Поэтому я думаю, что этот подход подходит для искусственных нейронных сетей. ** Я думаю, что есть способ использовать более мощные модели, чтобы помочь нам понять другие модели. Но я не совсем уверен, как бы вы применили этот подход к человеческому мозгу.
Возможно ли контролировать количество моделей
Чжан Хунцзян: Хорошо, спасибо. Теперь, когда мы поговорили о безопасности ИИ и управлении ОИИ, один из вопросов, который мы обсуждали, — не было бы безопаснее, если бы в мире было всего три модели? Это как ядерный контроль, вы не хотите, чтобы ядерное оружие распространялось. У нас есть договор, в котором мы пытаемся контролировать количество стран, которые могут получить эту технологию. Так является ли управление количеством моделей возможным направлением?
Сэм Альтман: Я думаю, что существуют разные мнения о том, что безопаснее: модель меньшинства или модель большинства в мире. Я думаю, что более важно, есть ли у нас система, в которой любая надежная модель адекватно проверяется на безопасность? Есть ли у нас структура, в которой каждый, кто создает достаточно надежную модель, имеет как ресурсы, так и ответственность за то, чтобы то, что он создает, было безопасным и согласованным?
Чжан Хунцзян: На вчерашней встрече профессор Макс из Института будущего жизни Массачусетского технологического института упомянул возможный метод, аналогичный тому, как мы контролируем разработку лекарств. Когда ученые или компании разрабатывают новые лекарства, вы не можете продавать их напрямую. Вы должны пройти через этот процесс тестирования. Это то, чему мы можем научиться?
Сэм Альтман: Я определенно думаю, что мы можем многому научиться из схем лицензирования и тестирования, разработанных в разных отраслях. Но я думаю, что в принципе у нас есть что-то, что может работать.
Чжан Хунцзян: Большое спасибо, Сэм. Спасибо, что нашли время посетить эту встречу, хотя и онлайн. Я уверен, что есть еще много вопросов, но, учитывая время, мы должны остановиться здесь. Я надеюсь, что в следующий раз, когда у вас будет возможность приехать в Китай, приехать в Пекин, мы сможем провести более подробное обсуждение. большое спасибо.