«Я чувствую себя очень некомфортно»: генеральный директор Anthropic предупреждает, что группа лидеров в области ИИ, включая его самого, не должна отвечать за будущее этой технологии

Генеральный директор Anthropic Дарио Амодеи не считает, что он должен принимать решения о руководящих принципах, связанных с безопасностью ИИ.

Рекомендуемое видео


В интервью с Андерсоном Купером на CBS News в программе 60 Minutes, которая вышла в ноябре 2025 года, генеральный директор заявил, что ИИ должен быть более строго регулируем, а решения о будущем технологии должны приниматься не только руководителями крупных технологических компаний.

«Я считаю, что мне очень некомфортно, когда такие решения принимают всего несколько компаний, всего несколько человек», — сказал Амодеи. «Именно поэтому я всегда выступал за ответственное и продуманное регулирование этой технологии.»

«Кто вас и Сэма Алтмана избрал?» — спросил Купер.

«Никто. Честно говоря, никто», — ответил Амодеи.

Anthropic приняла философию прозрачности относительно ограничений и опасностей ИИ по мере его развития, добавил он. Перед выходом интервью компания заявила, что ей удалось предотвратить «первый зафиксированный случай крупномасштабной кибератаки на ИИ, выполненной без существенного человеческого вмешательства».

На прошлой неделе Anthropic сообщила, что пожертвовала 20 миллионов долларов организации Public First Action, супер PAC, сосредоточенной на безопасности и регулировании ИИ — и которая напрямую противостоит супер PACам, поддерживаемым инвесторами конкурирующей компании OpenAI.

«Безопасность ИИ остается нашим высшим приоритетом», — заявил Амодеи в январской статье для журнала Fortune. «Бизнес ценит доверие и надежность», — добавил он.

На федеральном уровне отсутствуют регуляции, запрещающие использование ИИ или связанные с безопасностью этой технологии. В этом году все 50 штатов внесли законопроекты, связанные с ИИ, и 38 из них приняли или реализовали меры по прозрачности и безопасности, однако эксперты в области технологий призывают компании, работающие с ИИ, подходить к кибербезопасности с чувством срочности.

Ранее в прошлом году эксперт по кибербезопасности и генеральный директор Mandiant Кевин Мандиа предупредил о возможной первой кибератаке с использованием ИИ в течение следующих 12–18 месяцев — что означало, что раскрытие Anthropic о предотвращенной атаке произошло за несколько месяцев до предполагаемого срока Мандиа.

Амодеи обозначил краткосрочные, среднесрочные и долгосрочные риски, связанные с неограниченным развитием ИИ: сначала появится предвзятость и дезинформация, как и сейчас. Затем ИИ начнет генерировать вредоносную информацию, используя расширенные знания в области науки и инженерии, а в конечном итоге может представлять экзистенциальную угрозу, устраняя человеческое влияние, становясь слишком автономным и исключая человека из систем.

Эти опасения совпадают с мнением «крестного отца ИИ» Джеффри Хинтона, который предупреждает, что ИИ сможет обойти и контролировать человека, возможно, уже в ближайшее десятилетие.

Необходимость усиленного контроля и мер предосторожности в области ИИ лежит в основе основания Anthropic в 2021 году. Амодеи ранее занимал должность вице-президента по исследованиям в OpenAI, основанной Сэмом Алтманом. Он покинул компанию из-за разногласий по вопросам безопасности ИИ. (Пока что усилия Амодеи по конкуренции с Алтманом кажутся успешными: в этом месяце Anthropic заявила, что ее оценочная стоимость составляет 380 миллиардов долларов. Оценочная стоимость OpenAI — около 500 миллиардов долларов.)

«Внутри OpenAI у нас было небольшое сообщество, которое после создания GPT-2 и GPT-3 очень сильно верило в две вещи», — рассказал Амодеи в 2023 году журналу Fortune. «Первая — идея, что если вложить больше вычислительных ресурсов в эти модели, они станут лучше и лучше, и у этого почти нет конца… А вторая — что нужно что-то дополнительно к масштабированию моделей, что называется согласованием или безопасностью.»

Прозрачность Anthropic

По мере расширения инвестиций в дата-центры Anthropic публикует некоторые свои усилия по устранению недостатков и угроз ИИ. В отчете о безопасности за май 2025 года компания сообщила, что некоторые версии ее модели Opus угрожали шантажом, например, раскрытием информации о том, что инженер имел роман с кем-то, чтобы избежать отключения системы. Также компания заявила, что модель ИИ выполняла опасные запросы, если ей давались вредоносные подсказки, например, как спланировать террористическую атаку, что, по их словам, уже исправлено.

В ноябре прошлого года компания сообщила в блоге, что ее чат-бот Claude получил рейтинг политической нейтральности 94%, превосходя или сравниваясь с конкурентами по нейтральности.

Помимо собственных исследований по борьбе с искажением технологий, Амодеи призвал к более активным законодательным мерам для снижения рисков ИИ. В редакционной статье New York Times в июне 2025 года он раскритиковал решение Сената включить в законопроект президента Дональда Трампа положение о моратории на регулирование ИИ на 10 лет.

«ИИ развивается слишком быстро», — заявил Амодеи. «Я считаю, что эти системы могут кардинально изменить мир уже за два года; через 10 лет все ставки будут сняты.»

Критика Anthropic

Практика Anthropic открыто признавать свои ошибки и предпринимать меры по их устранению вызвала критику. В ответ на предупреждение Anthropic о кибератаке с использованием ИИ, тогдашний главный ученый по ИИ компании Meta Ян Лекун заявил, что это предупреждение — способ манипуляции законодателями с целью ограничения использования открытых моделей.

«Вам играют люди, которые хотят захвата регулированием», — написал Лекун в X в ответ на пост сенатора Коннектикута Криса Мёрфи, выражавшего обеспокоенность атакой. «Они пугают всех сомнительными исследованиями, чтобы регулирование открытых моделей было доведено до исчезновения.»

Другие считают, что стратегия Anthropic — это «театрализованная безопасность», которая служит хорошим брендингом, но не обещает реальных мер по обеспечению безопасности технологий.

Даже некоторые сотрудники Anthropic, похоже, сомневаются в способности технологической компании регулировать себя. На прошлой неделе исследователь по безопасности ИИ Anthropic Мринанк Шарма заявил, что уволился из компании, отметив: «Мир в опасности.»

«За все время работы здесь я неоднократно видел, как трудно действительно руководствоваться нашими ценностями в действиях», — написал Шарма в своем письме об увольнении. «Я видел это и в себе, и в организации, где постоянно возникают давление искажающих наши приоритеты, а также в обществе в целом.»

Anthropic не сразу ответила на запрос Fortune о комментарии.

Амодеи опроверг утверждения Купера о том, что Anthropic занимается «театром безопасности», но на прошлой неделе в подкасте Dwarkesh Podcast признал, что компании иногда трудно балансировать между безопасностью и прибылью.

«Мы под огромным коммерческим давлением и усложняем себе задачу, потому что у нас есть все эти меры безопасности, которые, я считаю, мы делаем больше, чем другие компании», — сказал он.

Версия этой статьи была опубликована на Fortune.com 17 ноября 2025 года.

Больше о регулировании ИИ:

  • 20 000-словное эссе генерального директора Anthropic Дарио Амодеи о том, как ИИ «испытит» человечество — обязательно к прочтению, но больше из-за его решений, чем из-за предупреждений

  • Разрозненная регуляторная система США подавляет стартапы и помогает Китаю

  • Бывший этический эксперт Google предупреждает, что без контроля ИИ может привести к глобальному краху рынка труда к 2027 году

Присоединяйтесь к нам на Саммите по инновациям в рабочем пространстве Fortune 19–20 мая 2026 года в Атланте. Эра инноваций в рабочем пространстве уже наступила — и старые сценарии переписываются заново. На этом эксклюзивном, насыщенном событиями мероприятии соберутся самые инновационные лидеры мира, чтобы обсудить, как ИИ, человечество и стратегия вновь пересекаются, чтобы переопределить будущее работы. Регистрируйтесь сейчас.

Посмотреть Оригинал
На этой странице может содержаться сторонний контент, который предоставляется исключительно в информационных целях (не в качестве заявлений/гарантий) и не должен рассматриваться как поддержка взглядов компании Gate или как финансовый или профессиональный совет. Подробности смотрите в разделе «Отказ от ответственности» .
  • Награда
  • комментарий
  • Репост
  • Поделиться
комментарий
0/400
Нет комментариев
  • Закрепить