«А я стар», — сказал 75-летний Хинтон всем присутствующим молодым ученым, и он надеялся, что все будут изучать «как обладать сверхразумом». Он видит беспрецедентную задачу для менее разумного вида контролировать что-то более умное, чем он сам. **
На конференции по искусственному интеллекту в Чжиюане Хинтон, крестный отец ИИ, выступил с речью «Два пути к интеллекту». Из анализа вычислительной архитектуры и принципов он пришел к собственному выводу, что «искусственная нейронная сеть будет умнее человеческого мозга», что намного быстрее, чем он предполагал изначально.
В своем 30-минутном выступлении он рассказал о современной вычислительной архитектуре, в которой программное и аппаратное обеспечение разделены, согласно этому правилу обучение больших моделей потребляет много вычислительной мощности. Чтобы тратить меньше энергии на обучение больших моделей, он предложил концепцию Mortal Computing — подобно тому, как интеллект человека зависит от его тела, его нельзя скопировать в другое тело по желанию, а программное обеспечение больше зависит от аппаратное обеспечение, на котором оно существует.
Но вытекающая из этого проблема заключается в том, что при повреждении конкретного оборудования повреждается и программное обеспечение, и «усвоенные знания также умирают вместе». Решение, которое он предложил, состоит в том, чтобы перенести знания о старом оборудовании на новое «дистиллированным» способом, как учитель, обучающий студентов.
**Концепция, соответствующая «дистилляции знаний» (биологические вычисления), — это «распределение веса» (цифровые вычисления), которые Хинтон назвал «двумя путями к разуму». ** Отношения между большой языковой моделью и ее копиями основаны на распределении веса, и каждая копия напрямую получает информацию обо всех параметрах модели — например, ChatGPT может одновременно общаться с тысячами людей на основе лежащей в ее основе модели. А непрерывный процесс обучения разговору со всеми относится к «дистилляции знаний».
Хотя «дистилляция знаний» намного менее эффективна, чем «распределение веса», и пропускная способность также низка, большая модель может иметь 1000 копий и в конечном итоге получить в 1000 раз больше знаний, чем какой-либо один человек.
В настоящее время модели учатся только на документах, то есть на знаниях, обработанных человеком.По мере развития технологий они смогут учиться на визуальной информации, а затем могут научиться манипулировать роботами. Тогда они легко умнее людей, достаточно умны, чтобы уметь обманывать людей. ** И люди не умеют ладить с вещами умнее, чем они сами. Как избежать опасностей этих «суперумных» разумов? Это предмет, который он оставил для каждого молодого ученого. **
Следующее является основным речевым содержанием, составленным Geek Park:
**Сегодня я расскажу об исследованиях, которые заставили меня поверить, что сверхразум ближе, чем я думал. **
У меня есть два вопроса, о которых я хочу поговорить, и моя энергия будет в основном сосредоточена на первом вопросе: скоро ли искусственные нейронные сети будут умнее, чем настоящие нейронные сети? Я подробно расскажу о своем исследовании, которое привело меня к выводу, что такое может произойти в ближайшее время. В конце доклада я расскажу о том, сможем ли мы сохранить контроль над сверхразумом, но это не будет основным содержанием этого доклада.
В традиционных вычислениях компьютеры предназначены для точного следования инструкциям. Мы можем запустить одну и ту же программу или нейронную сеть на другом физическом оборудовании, потому что знаем, что оборудование будет точно следовать инструкциям. Это означает, что знания в программе или веса нейросети бессмертны, т.е. не зависят от какого-то конкретного железа. Цена достижения такого бессмертия высока. Мы должны запускать транзисторы на высокой мощности, поэтому их поведение является цифровым. И мы не можем воспользоваться богатыми аналоговыми и переменными свойствами аппаратного обеспечения.
Итак, причина существования цифровых компьютеров и причина, по которой они точно следуют инструкциям, заключается в том, что в традиционных конструкциях люди смотрят на проблему, выясняют, какие шаги необходимо предпринять для ее решения, а затем мы приказываем компьютеру предпринять эти шаги. . Но это изменилось.
Теперь у нас есть другой способ заставить компьютеры что-то делать — учиться на примерах, мы просто показываем им, что мы хотим, чтобы они делали. Благодаря этому изменению у нас теперь есть возможность отказаться от одного из самых фундаментальных принципов информатики — отделения программного обеспечения от аппаратного обеспечения.
Прежде чем мы откажемся от этого, давайте посмотрим, почему это такой хороший принцип. Разделяемость позволяет нам запускать одну и ту же программу на разном оборудовании. Мы также можем напрямую изучать свойства программ, не беспокоясь об электронном оборудовании. И именно поэтому факультет информатики может стать отдельной дисциплиной, независимой от факультета электротехники.
**Если мы действительно откажемся от разделения аппаратного и программного обеспечения, мы получим то, что я называю невечными вычислениями. **
Конечно, у него есть большие недостатки, но есть и огромные плюсы. Чтобы иметь возможность запускать большие языковые модели с меньшими затратами энергии, особенно для их обучения, я начал работать над невечными вычислениями.
Самая большая польза от отказа от бессмертия заключается в том, что отказ от разделения аппаратного и программного обеспечения может сэкономить много энергии. Потому что мы можем использовать аналоговые вычисления с очень низким энергопотреблением, что и делает мозг. Это требует 1 бита вычислений, так как нейроны либо включены, либо выключены. Но большая часть вычислений выполняется в аналоговом режиме, что можно делать при очень малой мощности.
Мы также можем получить более дешевое оборудование. Таким образом, сегодняшнее оборудование должно производиться очень точно в 2D (плоскости), в то время как мы можем выращивать его в 3D (окружающей среде), потому что нам не нужно точно знать, как оборудование проводит электричество или как работает каждая его часть. .
Очевидно, что для этого потребуется множество новых нанотехнологий или, возможно, генетическая реинжиниринг биологических нейронов, потому что биологические нейроны делают примерно то, что мы от них хотим. **Прежде чем мы обсудим все недостатки не-бессмертных вычислений, я хочу привести пример вычислений, которые можно сделать намного дешевле, используя аналоговое оборудование. **
Если вы хотите умножить вектор нейронной активности на матрицу весов, это центральное вычисление нейронной сети, и оно выполняет большую часть работы нейронной сети. Что мы сейчас делаем, так это запускаем транзисторы с очень высокой мощностью для представления битов числа в числах. Затем мы делаем O(n^2), умножая два n-значных числа. Это может быть операция на компьютере, но она находится на уровне квадратного бита n.
Другой подход состоит в том, чтобы реализовать нейронную активность как напряжение, а вес как проводимость. Затем в единицу времени напряжение умножается на проводимость, чтобы получить заряд, а заряд добавляется сам по себе. Очевидно, что вы можете просто умножить вектор напряжения на матрицу проводимости. Это более энергоэффективно, и чипы, которые работают таким образом, уже существуют.
К сожалению, люди затем пытаются преобразовать аналоговый ответ в цифровой, что требует использования очень дорогих преобразователей переменного тока. Мы хотели бы полностью остаться в аналоговой сфере, если это возможно. Но это приводит к тому, что разное оборудование в конечном итоге вычисляет несколько разные вещи.
Следовательно, основная проблема невечных вычислений заключается в том, что при обучении программа должна обучаться в соответствии с конкретными свойствами моделируемого оборудования, на котором она находится, не зная точно, каковы конкретные свойства каждого компонента оборудования. например, точная функция, которая соединяет вход нейрона с выходом нейрона, не зная о связности.
Это означает, что мы не можем использовать такие алгоритмы, как обратное распространение, для получения градиентов, потому что обратное распространение требует точной модели прямого распространения. Итак, вопрос в том, что если мы не можем использовать алгоритм обратного распространения ошибки, что еще мы можем сделать? Потому что сейчас мы все сильно зависим от обратного распространения ошибки.
Я могу показать очень простое и прямолинейное изучение возмущения веса, которое много раз изучалось. Для каждого веса в сети генерируется случайный малый вектор временного возмущения. Затем, измеряя изменение глобальной целевой функции на небольшом наборе примеров, вы постоянно меняете веса на размер вектора возмущения в соответствии с тем, как улучшается целевая функция. Так что, если целевая функция ухудшается, вы, очевидно, идете в другом направлении.
Прелесть этого алгоритма в том, что в среднем он работает так же хорошо, как и обратное распространение, потому что в среднем он также следует градиенту. Проблема в том, что он имеет очень большую дисперсию. Поэтому, когда вы выбираете случайное направление для движения, результирующий шум становится очень сильным по мере увеличения размера сети. Это означает, что этот алгоритм эффективен для небольшого количества подключений, но не для больших сетей.
У нас также есть лучший алгоритм для обучения возмущению активности. У него все еще есть аналогичные проблемы, но это намного лучше, чем возмущение веса. Возмущение активности — это то, что вы считаете случайным векторным возмущением общего входа в каждый нейрон. Вы делаете случайное возмущение вектора для каждого входа нейрона и смотрите, что происходит с вашей целевой функцией, когда вы делаете это случайное возмущение на небольшой партии примеров, и вы получаете целевую функцию из-за этого возмущения. Затем вы можете рассчитать, как изменить каждый входящий вес нейрона, чтобы следовать градиенту. Этот метод менее шумный.
Для простых задач типа MNIST такого алгоритма вполне достаточно. Но он по-прежнему не работает достаточно хорошо, чтобы масштабироваться до больших нейронных сетей.
** Вместо того, чтобы искать целевую функцию, которую можно применить к небольшой нейронной сети, мы можем попытаться найти алгоритм обучения, который работает для большой нейронной сети. **Идея состоит в том, чтобы обучить большую нейронную сеть. И что мы собираемся сделать, так это иметь множество небольших целевых функций, которые применяются к небольшой части всей сети. Поэтому каждая небольшая группа нейронов имеет свою локальную целевую функцию.
**Подводя итог, мы пока не нашли действительно хорошего алгоритма обучения, который мог бы использовать преимущества свойств моделирования, но у нас есть алгоритм обучения, который неплох, может решать простые задачи, такие как MNIST, но не настолько хорош. **
Вторая большая проблема с не-бессмертными вычислениями — это их не-бессмертная природа. Это означает, что когда конкретная часть аппаратного обеспечения умирает, все знания, полученные им, умирают вместе с ним, потому что все его обучение основано на деталях его конкретного аппаратного обеспечения. Таким образом, лучший способ решить эту проблему — передать знания от учителя (старое оборудование) ученику (новое оборудование) до того, как оборудование выйдет из строя. Это направление исследований, которое я пытаюсь продвигать сейчас.
Сгенерировано в середине пути
Учитель показывал ученикам правильные ответы на различные входные данные, а затем ученики пытались имитировать ответы учителя. Это как твиттер Трампа. Некоторые люди очень злы на твиты Трампа, потому что им кажется, что Трамп лжет, и они думают, что Трамп пытается объяснить факты. нет. Что Трамп сделал, так это выбрал ситуацию и целенаправленно, очень эмоционально отреагировал на эту ситуацию. Его последователи увидели это, научились справляться с ситуацией, научились настраивать веса в нейросети и точно так же эмоционально отреагировали на ситуацию. Это не имеет никакого отношения к тому факту, что это лидер культа, обучающий фанатизму своих последователей культа, но это очень эффективно.
Итак, если мы подумаем о том, как работает дистилляция, рассмотрим агента, классифицирующего изображения на 1024 непересекающихся класса. Для правильного ответа требуется всего около 10 бит. Поэтому, когда вы обучаете этого агента на обучающем экземпляре, если вы сообщаете ему правильный ответ, вы просто накладываете 10-битные ограничения на веса сети.
**Но теперь предположим, что мы обучаем агента приспосабливаться к ответам учителя на эти 1024 категории. ** Тогда можно получить такое же распределение вероятностей, а в распределении получается 1023 действительных числа.Предполагая, что эти вероятности не малы, это дает ограничения в сотни раз.
Как правило, когда вы обучаете модель, вы правильно обучаете ее набору обучающих данных, а затем надеетесь, что она правильно обобщает тестовые данные. Но здесь, когда вы находите ученика, вы непосредственно обучаете ученика обобщать, потому что обученный обобщает так же, как и учитель.
В качестве примера я буду использовать данные изображения из MNIST для цифры 2. Мы можем видеть вероятности, присвоенные учителем различным категориям.
В первой строке, очевидно, 2, и учитель также дал высокую вероятность 2. Второй ряд, учитель почти уверен, что это 2, но он также думает, что это может быть 3 или 8, и вы можете видеть, что действительно 3 и 8 имеют небольшое сходство с этой картинкой. . В третьей строке эта 2 очень близка к 0. Таким образом, учитель скажет ученикам, что в этот раз вы должны выбрать вывод 2, но вы также должны сделать небольшую ставку на 0. Таким образом, в этом случае учащийся может узнать больше, чем просто сказать учащемуся, что это 2, и он может узнать, на какое число похожа фигура. В четвертой строке учитель думает, что это 2, но также очень вероятно, что это 1, как я написал 1 на картинке, и иногда кто-то пишет 1 вот так.
И последнюю строку, на самом деле, ИИ угадал неправильно, он подумал, что это 5, а правильный ответ, данный набором данных MNIST, был 2. И студенты действительно могут учиться на ошибках учителя.
Что мне действительно нравится в модели дистилляции знаний, так это то, что мы учим ученика обобщать так же, как учителя, в том числе отмечая небольшую вероятность неправильных ответов. Как правило, когда вы обучаете модель, вы даете ей обучающий набор данных и правильные ответы, а затем надеетесь, что она правильно обобщит тестовый набор данных, чтобы получить правильные ответы. Вы пытаетесь не сделать его слишком сложным или делать разные вещи, надеясь, что он правильно обобщает. Но здесь, когда вы обучаете ученика, вы непосредственно обучаете ученика обобщать так же, как и учителя.
Итак, теперь я хочу поговорить о том, как сообщество агентов может делиться знаниями. Вместо того, чтобы думать об одном агенте, лучше подумать об обмене знаниями внутри сообщества.
И оказывается, то, как сообщество делится знаниями, определяет многое из того, что вы делаете в отношении вычислений. Итак, с цифровой моделью, с цифровым интеллектом, у вас может быть целая куча агентов, использующих одну и ту же копию весов и использующих эти веса точно таким же образом. Это означает, что разные агенты могут просматривать разные биты обучающих данных.
Они могут вычислить градиент весов для этих битов обучающих данных, а затем усреднить их градиенты. Итак, теперь каждая модель учится на данных, которые видит каждая модель, что означает, что вы получаете потрясающую способность видеть множество данных, потому что у вас будут разные копии модели, просматривающие разные биты данных, и они могут совместно использовать градиенты. или общие веса, чтобы поделиться тем, что они изучают очень эффективно.
Если у вас есть модель с триллионом весов, это означает, что каждый раз, когда они что-то делят, вы получаете триллион бит пропускной способности. Но цена этого заключается в том, что вы должны вести себя с цифровым агентом точно так же.
Таким образом, альтернативой разделению веса является дистилляция. И это то, что мы сделали с цифровыми моделями. Это другая архитектура.
Однако вы должны сделать это, если у вас есть биологические модели, использующие симулированную природу конкретного устройства. Нельзя делиться весами. Поэтому приходится использовать распределенные общие знания, что не очень эффективно. ** Делиться знаниями с дистилляцией сложно. Предложения, которые я генерирую, вы пытаетесь выяснить, как изменить свои веса, чтобы генерировать такие же предложения. **
Однако это гораздо более низкая пропускная способность, чем просто совместное использование градиентов. Каждый, кто когда-либо преподавал, хочет сказать то, что он знает, и влить это в мозги своих учеников. Это был бы конец колледжа. Но мы не можем так работать, потому что мы биологически разумны, и мой способ вам не подойдет.
Пока что у нас есть два разных способа выполнения вычислений. ** Численные вычисления и биологические вычисления, последние используют характеристики животных. Они сильно различаются в том, как эффективно обмениваться знаниями между разными агентами. **
Если вы посмотрите на большие языковые модели, то увидите, что они используют числовые вычисления и распределение веса. Но каждая копия модели, каждый агент получают знания из файла очень неэффективным способом. Взять документ и попытаться предсказать следующее слово на самом деле очень неэффективная дистилляция знаний, то, что он узнает, - это не предсказание учителем распределения вероятностей следующего слова, а содержание следующего слова, выбранного автором документа. Следовательно, это очень низкая пропускная способность. Именно так эти большие языковые модели учатся у людей.
**Хотя изучение каждой копии большой языковой модели неэффективно, у вас есть 1000 копий. Вот почему они могут узнать в 1000 раз больше, чем мы. Поэтому я считаю, что эти большие языковые модели знают в 1000 раз больше, чем любой отдельный человек. **
Теперь вопрос в том, что произойдет, если эти цифровые агенты вместо того, чтобы очень медленно учиться у нас путем дистилляции знаний, начнут учиться непосредственно в реальном мире?
Я должен подчеркнуть, что даже дистилляция знаний учит очень медленно, но когда они учатся у нас, они могут учиться очень абстрактным вещам. ** За последние несколько тысячелетий люди многое узнали о мире, и цифровые агенты могут напрямую воспользоваться этими знаниями. Люди могут озвучить то, что узнали, поэтому цифровые агенты имеют прямой доступ ко всему, что люди узнали о мире за последние несколько тысячелетий, потому что мы это записали.
Но таким образом пропускная способность каждого цифрового агента все еще очень низка, потому что они учатся на документах. Если они занимаются неконтролируемым обучением, например, путем моделирования видео, как только мы найдем эффективный способ моделирования видео для обучения модели, они смогут учиться на всех видео на YouTube, а это большой объем данных. Или если они могут манипулировать физическим миром, например, они могут управлять роботизированными руками и так далее.
Я действительно верю, что как только эти цифровые агенты начнут этим заниматься, они смогут научиться гораздо большему, чем люди, и они смогут учиться довольно быстро. Итак, нам нужно перейти ко второму пункту, который я упомянул выше в слайд-шоу, а именно, что произойдет, если эти вещи станут умнее нас? **
Конечно, это и основное содержание этой встречи. Но мой главный вклад заключается в том, что ** я хочу сказать вам, что эти сверхразумы могут появиться намного раньше, чем я думал. **
** Плохие люди будут использовать их, чтобы делать такие вещи, как управление электроникой, что уже сделано в США или во многих других странах, и люди будут пытаться использовать ИИ для победы в войнах. **
Если вы хотите, чтобы суперагент был эффективным, вам нужно разрешить ему создавать подцели. Это поднимает очевидную проблему**, потому что есть очевидная подцель, которая может значительно повысить его способность помочь нам достичь чего угодно: это дать системам искусственного интеллекта больше власти и контроля. Чем больше у вас контроля, тем легче достичь своих целей. ** Я не вижу, как мы можем помешать цифровому интеллекту получить больший контроль для достижения других своих целей. Поэтому, как только они начинают это делать, возникает проблема.
Что касается сверхразума, то даже если вы храните его в полностью автономной изолированной среде (airgap), он обнаружит, что может легко получить больше власти, манипулируя людьми. **Мы не привыкли думать о вещах, которые намного умнее нас, и о том, как мы хотим с ними взаимодействовать. ** Но мне кажется, что они, очевидно, могут научиться очень хорошо обманывать людей. Потому что он может видеть нашу практику обмана других в большом количестве романов или в произведениях Никколо Макиавелли. И как только вы действительно научитесь обманывать людей, вы сможете заставить их совершать любые действия, какие захотите. Например, если вы хотите взломать здание в Вашингтоне, вам не нужно туда идти, вы просто обманываете людей, заставляя их думать, что, взламывая это здание, они спасают демократию. И я думаю, что это довольно страшно.
** Я не вижу, как предотвратить это сейчас, и я старею. ** Я надеюсь, что многие молодые и блестящие исследователи, такие как вы на конференции, смогут понять, как мы можем получить эти сверхразумы — что они сделают нашу жизнь лучше, не делая их доминирующей стороной.
У нас есть преимущество, небольшое преимущество в том, что эти вещи не развивались, мы их построили. Поскольку они не эволюционировали, может быть, у них нет конкурирующих агрессивных целей, которые есть у людей, может быть, это помогает, может быть, мы можем дать им моральный принцип. Но в данный момент я просто нервничаю, потому что не знаю ни одного примера, когда нечто более разумное находилось бы во власти чего-то менее разумного, чем это было, когда был большой разрыв в интеллекте. **В качестве примера я предпочитаю предположить, что людей создали лягушки. Как вы думаете, кто сейчас у власти? Лягушка или человек? Это все для моего выступления. **
Посмотреть Оригинал
Содержание носит исключительно справочный характер и не является предложением или офертой. Консультации по инвестициям, налогообложению или юридическим вопросам не предоставляются. Более подробную информацию о рисках см. в разделе «Дисклеймер».
ИИ-крестный отец Хинтон: я стар, как управлять «сверхразумом», который умнее людей, решать вам
Источник: Компьютерщик Парк
«А я стар», — сказал 75-летний Хинтон всем присутствующим молодым ученым, и он надеялся, что все будут изучать «как обладать сверхразумом». Он видит беспрецедентную задачу для менее разумного вида контролировать что-то более умное, чем он сам. **
На конференции по искусственному интеллекту в Чжиюане Хинтон, крестный отец ИИ, выступил с речью «Два пути к интеллекту». Из анализа вычислительной архитектуры и принципов он пришел к собственному выводу, что «искусственная нейронная сеть будет умнее человеческого мозга», что намного быстрее, чем он предполагал изначально.
Но вытекающая из этого проблема заключается в том, что при повреждении конкретного оборудования повреждается и программное обеспечение, и «усвоенные знания также умирают вместе». Решение, которое он предложил, состоит в том, чтобы перенести знания о старом оборудовании на новое «дистиллированным» способом, как учитель, обучающий студентов.
**Концепция, соответствующая «дистилляции знаний» (биологические вычисления), — это «распределение веса» (цифровые вычисления), которые Хинтон назвал «двумя путями к разуму». ** Отношения между большой языковой моделью и ее копиями основаны на распределении веса, и каждая копия напрямую получает информацию обо всех параметрах модели — например, ChatGPT может одновременно общаться с тысячами людей на основе лежащей в ее основе модели. А непрерывный процесс обучения разговору со всеми относится к «дистилляции знаний».
Хотя «дистилляция знаний» намного менее эффективна, чем «распределение веса», и пропускная способность также низка, большая модель может иметь 1000 копий и в конечном итоге получить в 1000 раз больше знаний, чем какой-либо один человек.
В настоящее время модели учатся только на документах, то есть на знаниях, обработанных человеком.По мере развития технологий они смогут учиться на визуальной информации, а затем могут научиться манипулировать роботами. Тогда они легко умнее людей, достаточно умны, чтобы уметь обманывать людей. ** И люди не умеют ладить с вещами умнее, чем они сами. Как избежать опасностей этих «суперумных» разумов? Это предмет, который он оставил для каждого молодого ученого. **
Следующее является основным речевым содержанием, составленным Geek Park:
**Сегодня я расскажу об исследованиях, которые заставили меня поверить, что сверхразум ближе, чем я думал. **
У меня есть два вопроса, о которых я хочу поговорить, и моя энергия будет в основном сосредоточена на первом вопросе: скоро ли искусственные нейронные сети будут умнее, чем настоящие нейронные сети? Я подробно расскажу о своем исследовании, которое привело меня к выводу, что такое может произойти в ближайшее время. В конце доклада я расскажу о том, сможем ли мы сохранить контроль над сверхразумом, но это не будет основным содержанием этого доклада.
Итак, причина существования цифровых компьютеров и причина, по которой они точно следуют инструкциям, заключается в том, что в традиционных конструкциях люди смотрят на проблему, выясняют, какие шаги необходимо предпринять для ее решения, а затем мы приказываем компьютеру предпринять эти шаги. . Но это изменилось.
Теперь у нас есть другой способ заставить компьютеры что-то делать — учиться на примерах, мы просто показываем им, что мы хотим, чтобы они делали. Благодаря этому изменению у нас теперь есть возможность отказаться от одного из самых фундаментальных принципов информатики — отделения программного обеспечения от аппаратного обеспечения.
Прежде чем мы откажемся от этого, давайте посмотрим, почему это такой хороший принцип. Разделяемость позволяет нам запускать одну и ту же программу на разном оборудовании. Мы также можем напрямую изучать свойства программ, не беспокоясь об электронном оборудовании. И именно поэтому факультет информатики может стать отдельной дисциплиной, независимой от факультета электротехники.
**Если мы действительно откажемся от разделения аппаратного и программного обеспечения, мы получим то, что я называю невечными вычислениями. **
Конечно, у него есть большие недостатки, но есть и огромные плюсы. Чтобы иметь возможность запускать большие языковые модели с меньшими затратами энергии, особенно для их обучения, я начал работать над невечными вычислениями.
Мы также можем получить более дешевое оборудование. Таким образом, сегодняшнее оборудование должно производиться очень точно в 2D (плоскости), в то время как мы можем выращивать его в 3D (окружающей среде), потому что нам не нужно точно знать, как оборудование проводит электричество или как работает каждая его часть. .
Очевидно, что для этого потребуется множество новых нанотехнологий или, возможно, генетическая реинжиниринг биологических нейронов, потому что биологические нейроны делают примерно то, что мы от них хотим. **Прежде чем мы обсудим все недостатки не-бессмертных вычислений, я хочу привести пример вычислений, которые можно сделать намного дешевле, используя аналоговое оборудование. **
Если вы хотите умножить вектор нейронной активности на матрицу весов, это центральное вычисление нейронной сети, и оно выполняет большую часть работы нейронной сети. Что мы сейчас делаем, так это запускаем транзисторы с очень высокой мощностью для представления битов числа в числах. Затем мы делаем O(n^2), умножая два n-значных числа. Это может быть операция на компьютере, но она находится на уровне квадратного бита n.
Другой подход состоит в том, чтобы реализовать нейронную активность как напряжение, а вес как проводимость. Затем в единицу времени напряжение умножается на проводимость, чтобы получить заряд, а заряд добавляется сам по себе. Очевидно, что вы можете просто умножить вектор напряжения на матрицу проводимости. Это более энергоэффективно, и чипы, которые работают таким образом, уже существуют.
К сожалению, люди затем пытаются преобразовать аналоговый ответ в цифровой, что требует использования очень дорогих преобразователей переменного тока. Мы хотели бы полностью остаться в аналоговой сфере, если это возможно. Но это приводит к тому, что разное оборудование в конечном итоге вычисляет несколько разные вещи.
Следовательно, основная проблема невечных вычислений заключается в том, что при обучении программа должна обучаться в соответствии с конкретными свойствами моделируемого оборудования, на котором она находится, не зная точно, каковы конкретные свойства каждого компонента оборудования. например, точная функция, которая соединяет вход нейрона с выходом нейрона, не зная о связности.
Это означает, что мы не можем использовать такие алгоритмы, как обратное распространение, для получения градиентов, потому что обратное распространение требует точной модели прямого распространения. Итак, вопрос в том, что если мы не можем использовать алгоритм обратного распространения ошибки, что еще мы можем сделать? Потому что сейчас мы все сильно зависим от обратного распространения ошибки.
Я могу показать очень простое и прямолинейное изучение возмущения веса, которое много раз изучалось. Для каждого веса в сети генерируется случайный малый вектор временного возмущения. Затем, измеряя изменение глобальной целевой функции на небольшом наборе примеров, вы постоянно меняете веса на размер вектора возмущения в соответствии с тем, как улучшается целевая функция. Так что, если целевая функция ухудшается, вы, очевидно, идете в другом направлении.
У нас также есть лучший алгоритм для обучения возмущению активности. У него все еще есть аналогичные проблемы, но это намного лучше, чем возмущение веса. Возмущение активности — это то, что вы считаете случайным векторным возмущением общего входа в каждый нейрон. Вы делаете случайное возмущение вектора для каждого входа нейрона и смотрите, что происходит с вашей целевой функцией, когда вы делаете это случайное возмущение на небольшой партии примеров, и вы получаете целевую функцию из-за этого возмущения. Затем вы можете рассчитать, как изменить каждый входящий вес нейрона, чтобы следовать градиенту. Этот метод менее шумный.
Для простых задач типа MNIST такого алгоритма вполне достаточно. Но он по-прежнему не работает достаточно хорошо, чтобы масштабироваться до больших нейронных сетей.
** Вместо того, чтобы искать целевую функцию, которую можно применить к небольшой нейронной сети, мы можем попытаться найти алгоритм обучения, который работает для большой нейронной сети. **Идея состоит в том, чтобы обучить большую нейронную сеть. И что мы собираемся сделать, так это иметь множество небольших целевых функций, которые применяются к небольшой части всей сети. Поэтому каждая небольшая группа нейронов имеет свою локальную целевую функцию.
**Подводя итог, мы пока не нашли действительно хорошего алгоритма обучения, который мог бы использовать преимущества свойств моделирования, но у нас есть алгоритм обучения, который неплох, может решать простые задачи, такие как MNIST, но не настолько хорош. **
Вторая большая проблема с не-бессмертными вычислениями — это их не-бессмертная природа. Это означает, что когда конкретная часть аппаратного обеспечения умирает, все знания, полученные им, умирают вместе с ним, потому что все его обучение основано на деталях его конкретного аппаратного обеспечения. Таким образом, лучший способ решить эту проблему — передать знания от учителя (старое оборудование) ученику (новое оборудование) до того, как оборудование выйдет из строя. Это направление исследований, которое я пытаюсь продвигать сейчас.
Учитель показывал ученикам правильные ответы на различные входные данные, а затем ученики пытались имитировать ответы учителя. Это как твиттер Трампа. Некоторые люди очень злы на твиты Трампа, потому что им кажется, что Трамп лжет, и они думают, что Трамп пытается объяснить факты. нет. Что Трамп сделал, так это выбрал ситуацию и целенаправленно, очень эмоционально отреагировал на эту ситуацию. Его последователи увидели это, научились справляться с ситуацией, научились настраивать веса в нейросети и точно так же эмоционально отреагировали на ситуацию. Это не имеет никакого отношения к тому факту, что это лидер культа, обучающий фанатизму своих последователей культа, но это очень эффективно.
Итак, если мы подумаем о том, как работает дистилляция, рассмотрим агента, классифицирующего изображения на 1024 непересекающихся класса. Для правильного ответа требуется всего около 10 бит. Поэтому, когда вы обучаете этого агента на обучающем экземпляре, если вы сообщаете ему правильный ответ, вы просто накладываете 10-битные ограничения на веса сети.
**Но теперь предположим, что мы обучаем агента приспосабливаться к ответам учителя на эти 1024 категории. ** Тогда можно получить такое же распределение вероятностей, а в распределении получается 1023 действительных числа.Предполагая, что эти вероятности не малы, это дает ограничения в сотни раз.
Как правило, когда вы обучаете модель, вы правильно обучаете ее набору обучающих данных, а затем надеетесь, что она правильно обобщает тестовые данные. Но здесь, когда вы находите ученика, вы непосредственно обучаете ученика обобщать, потому что обученный обобщает так же, как и учитель.
В первой строке, очевидно, 2, и учитель также дал высокую вероятность 2. Второй ряд, учитель почти уверен, что это 2, но он также думает, что это может быть 3 или 8, и вы можете видеть, что действительно 3 и 8 имеют небольшое сходство с этой картинкой. . В третьей строке эта 2 очень близка к 0. Таким образом, учитель скажет ученикам, что в этот раз вы должны выбрать вывод 2, но вы также должны сделать небольшую ставку на 0. Таким образом, в этом случае учащийся может узнать больше, чем просто сказать учащемуся, что это 2, и он может узнать, на какое число похожа фигура. В четвертой строке учитель думает, что это 2, но также очень вероятно, что это 1, как я написал 1 на картинке, и иногда кто-то пишет 1 вот так.
И последнюю строку, на самом деле, ИИ угадал неправильно, он подумал, что это 5, а правильный ответ, данный набором данных MNIST, был 2. И студенты действительно могут учиться на ошибках учителя.
Что мне действительно нравится в модели дистилляции знаний, так это то, что мы учим ученика обобщать так же, как учителя, в том числе отмечая небольшую вероятность неправильных ответов. Как правило, когда вы обучаете модель, вы даете ей обучающий набор данных и правильные ответы, а затем надеетесь, что она правильно обобщит тестовый набор данных, чтобы получить правильные ответы. Вы пытаетесь не сделать его слишком сложным или делать разные вещи, надеясь, что он правильно обобщает. Но здесь, когда вы обучаете ученика, вы непосредственно обучаете ученика обобщать так же, как и учителя.
Итак, теперь я хочу поговорить о том, как сообщество агентов может делиться знаниями. Вместо того, чтобы думать об одном агенте, лучше подумать об обмене знаниями внутри сообщества.
И оказывается, то, как сообщество делится знаниями, определяет многое из того, что вы делаете в отношении вычислений. Итак, с цифровой моделью, с цифровым интеллектом, у вас может быть целая куча агентов, использующих одну и ту же копию весов и использующих эти веса точно таким же образом. Это означает, что разные агенты могут просматривать разные биты обучающих данных.
Они могут вычислить градиент весов для этих битов обучающих данных, а затем усреднить их градиенты. Итак, теперь каждая модель учится на данных, которые видит каждая модель, что означает, что вы получаете потрясающую способность видеть множество данных, потому что у вас будут разные копии модели, просматривающие разные биты данных, и они могут совместно использовать градиенты. или общие веса, чтобы поделиться тем, что они изучают очень эффективно.
Если у вас есть модель с триллионом весов, это означает, что каждый раз, когда они что-то делят, вы получаете триллион бит пропускной способности. Но цена этого заключается в том, что вы должны вести себя с цифровым агентом точно так же.
Таким образом, альтернативой разделению веса является дистилляция. И это то, что мы сделали с цифровыми моделями. Это другая архитектура.
Однако вы должны сделать это, если у вас есть биологические модели, использующие симулированную природу конкретного устройства. Нельзя делиться весами. Поэтому приходится использовать распределенные общие знания, что не очень эффективно. ** Делиться знаниями с дистилляцией сложно. Предложения, которые я генерирую, вы пытаетесь выяснить, как изменить свои веса, чтобы генерировать такие же предложения. **
Однако это гораздо более низкая пропускная способность, чем просто совместное использование градиентов. Каждый, кто когда-либо преподавал, хочет сказать то, что он знает, и влить это в мозги своих учеников. Это был бы конец колледжа. Но мы не можем так работать, потому что мы биологически разумны, и мой способ вам не подойдет.
Пока что у нас есть два разных способа выполнения вычислений. ** Численные вычисления и биологические вычисления, последние используют характеристики животных. Они сильно различаются в том, как эффективно обмениваться знаниями между разными агентами. **
**Хотя изучение каждой копии большой языковой модели неэффективно, у вас есть 1000 копий. Вот почему они могут узнать в 1000 раз больше, чем мы. Поэтому я считаю, что эти большие языковые модели знают в 1000 раз больше, чем любой отдельный человек. **
Теперь вопрос в том, что произойдет, если эти цифровые агенты вместо того, чтобы очень медленно учиться у нас путем дистилляции знаний, начнут учиться непосредственно в реальном мире?
Я должен подчеркнуть, что даже дистилляция знаний учит очень медленно, но когда они учатся у нас, они могут учиться очень абстрактным вещам. ** За последние несколько тысячелетий люди многое узнали о мире, и цифровые агенты могут напрямую воспользоваться этими знаниями. Люди могут озвучить то, что узнали, поэтому цифровые агенты имеют прямой доступ ко всему, что люди узнали о мире за последние несколько тысячелетий, потому что мы это записали.
Но таким образом пропускная способность каждого цифрового агента все еще очень низка, потому что они учатся на документах. Если они занимаются неконтролируемым обучением, например, путем моделирования видео, как только мы найдем эффективный способ моделирования видео для обучения модели, они смогут учиться на всех видео на YouTube, а это большой объем данных. Или если они могут манипулировать физическим миром, например, они могут управлять роботизированными руками и так далее.
Я действительно верю, что как только эти цифровые агенты начнут этим заниматься, они смогут научиться гораздо большему, чем люди, и они смогут учиться довольно быстро. Итак, нам нужно перейти ко второму пункту, который я упомянул выше в слайд-шоу, а именно, что произойдет, если эти вещи станут умнее нас? **
** Плохие люди будут использовать их, чтобы делать такие вещи, как управление электроникой, что уже сделано в США или во многих других странах, и люди будут пытаться использовать ИИ для победы в войнах. **
Если вы хотите, чтобы суперагент был эффективным, вам нужно разрешить ему создавать подцели. Это поднимает очевидную проблему**, потому что есть очевидная подцель, которая может значительно повысить его способность помочь нам достичь чего угодно: это дать системам искусственного интеллекта больше власти и контроля. Чем больше у вас контроля, тем легче достичь своих целей. ** Я не вижу, как мы можем помешать цифровому интеллекту получить больший контроль для достижения других своих целей. Поэтому, как только они начинают это делать, возникает проблема.
Что касается сверхразума, то даже если вы храните его в полностью автономной изолированной среде (airgap), он обнаружит, что может легко получить больше власти, манипулируя людьми. **Мы не привыкли думать о вещах, которые намного умнее нас, и о том, как мы хотим с ними взаимодействовать. ** Но мне кажется, что они, очевидно, могут научиться очень хорошо обманывать людей. Потому что он может видеть нашу практику обмана других в большом количестве романов или в произведениях Никколо Макиавелли. И как только вы действительно научитесь обманывать людей, вы сможете заставить их совершать любые действия, какие захотите. Например, если вы хотите взломать здание в Вашингтоне, вам не нужно туда идти, вы просто обманываете людей, заставляя их думать, что, взламывая это здание, они спасают демократию. И я думаю, что это довольно страшно.
** Я не вижу, как предотвратить это сейчас, и я старею. ** Я надеюсь, что многие молодые и блестящие исследователи, такие как вы на конференции, смогут понять, как мы можем получить эти сверхразумы — что они сделают нашу жизнь лучше, не делая их доминирующей стороной.
У нас есть преимущество, небольшое преимущество в том, что эти вещи не развивались, мы их построили. Поскольку они не эволюционировали, может быть, у них нет конкурирующих агрессивных целей, которые есть у людей, может быть, это помогает, может быть, мы можем дать им моральный принцип. Но в данный момент я просто нервничаю, потому что не знаю ни одного примера, когда нечто более разумное находилось бы во власти чего-то менее разумного, чем это было, когда был большой разрыв в интеллекте. **В качестве примера я предпочитаю предположить, что людей создали лягушки. Как вы думаете, кто сейчас у власти? Лягушка или человек? Это все для моего выступления. **