全文はこちらです！張宏江氏が OpenAI Altman と語る: AGI は文明を根本的に変えるだろう、そして GPT-5 はすぐになくなるだろう

出典: ウォールストリートニュース

著者: 葛嘉明

6月10日、OpenAIの創設者サム・アルトマン氏は、中国・北京で開催された2023年知源人工知能カンファレンスにビデオリンクで登場し、中国の聴衆を前に講演したのはこれが初めてだった。

アルトマン氏は講演の中で『道経経』を引用し、AIのセキュリティは一歩から始まり、国家間の協力と調整を行わなければならないと主要国間の協力について語った。

その後、アルトマン氏は知源研究所の張宏江会長との一対一の質疑応答に応じた。

張紅江博士は現在、北京知源人工知能研究所の理事長を務めており、また、いくつかの企業の独立取締役およびコンサルタントも務めています。彼は、Kingsoft Group のエグゼクティブ ディレクター兼 CEO、Kingsoft Cloud の CEO を務めました。Microsoft Asia Research Institute の創設者の 1 人でもありました。) 学部長および Microsoft の「Distinguished Scientist」です。

Zhang Honjiang 氏は、マイクロソフトに入社する前は、米国シリコン バレーのヒューレット パッカード研究所のマネージャーを務めており、その前はシンガポール国立大学システム科学研究所でも働いていました。 アルトマン氏のスピーチの中心的な内容は次のとおりです。

1. 現在の AI 革命がこれほど大きな影響を及ぼしている理由は、その影響の大きさだけでなく、その進歩のスピードにもあります。これは配当とリスクの両方をもたらします。
2. ますます強力な AI システムの出現により、世界的な協力の重要性がかつてないほど高まっています。いくつかの重要なイベントでは、各国が協力し調整する必要があります。 AGI の安全性の向上は、共通の利益を見つける必要がある最も重要な分野の 1 つです。
3. 調整は未解決の問題のままです。 GPT-4 は調整に 8 か月かかりました。ただし、関連する研究は依然として改良されており、主にスケーラビリティと解釈可能性の 2 つの側面に分けられます。

質疑応答の主な内容:

1. 人類は10年以内に強力な人工知能システム（AI）を手に入れるでしょう。
2. OpenAI には、オープンソースに関連する新たなスケジュールはありません オープンソース モデルには利点がありますが、オープンソースは (AI の開発を促進するための) 最善の道ではない可能性があります。
3. ニューラル ネットワークを理解することは、人間の脳よりもはるかに簡単です。
4. ある時点で GPT-5 モデルの作成を試みる予定ですが、すぐには作成できません。具体的なGPT-5がいつ登場するかは分かりません。
5. AI のセキュリティには中国の研究者の参加と貢献が必要です。

注：「AIの整合性」はAI制御問題において最も重要な問題であり、つまりAIシステムの目標が人間の価値観や利益と整合（一貫）していることが求められます。

サム・アルトマンのスピーチ内容:

ますます強力になる人工知能システムの出現により、世界的な協力に対するリスクはかつてないほど高まっています。

注意しないと、公衆衛生の成果を向上させるために設計された AI システムが誤って配置され、根拠のない推奨事項が提供され、医療システム全体が混乱する可能性があります。同様に、農業生産を最適化するように設計された AI システムは、食料生産や環境バランスに影響を与える長期的な持続可能性を考慮していないため、不注意で天然資源を枯渇させたり、生態系にダメージを与えたりする可能性があります。

AGI の安全性の向上は、私たちが協力して共通点を見つける必要がある最も重要な分野の 1 つであるということに全員が同意できることを願っています。

私のプレゼンテーションの残りの部分は、どこから始められるかに焦点を当てます: 1. 最初の領域は AGI ガバナンスです。AGI は基本的に私たちの文明を変えるための強力な力となっており、有意義な国際協力と調整の必要性を強調しています。誰もが協調的なガバナンス アプローチから恩恵を受けます。私たちが安全かつ責任を持ってこの道を進むことができれば、AgI システムは世界経済に比類のない経済的繁栄をもたらし、気候変動や世界の健康安全保障などの共通の課題に対処し、社会福祉を向上させることができます。

私も未来を深く信じています。目的地に到達し、そこで楽しむためには、AGI の安全性に投資する必要があります。

そのためには慎重な調整が必要です。これは世界規模で展開されるグローバルなテクノロジーです。無謀な開発や展開によって引き起こされる事故の代償は、私たち全員に影響を及ぼします。

国際協力において、最も重要な分野は 2 つあると思います。

まず第一に、私たちは国際的な規範と基準を確立し、そのプロセスにおける包括性に注意を払う必要があります。どの国でも AGI システムを使用する場合は、そのような国際標準と規範に平等かつ一貫して従う必要があります。これらの安全柵の範囲内では、人々には自らの選択をする十分な機会があると私たちは信じています。

第二に、ますます強力になる AI システムの安全な開発における国際的な信頼を検証可能に構築するには、国際協力が絶対に必要です。私は、これが多大な献身的かつ継続的な注意を必要とする簡単な仕事であるという幻想を持っていません。 **

『道経経』には、「千里の道も一歩から始まる」と書かれています。私たちは、この点で最も建設的な最初のステップは、国際的な科学技術コミュニティと協力することであると信じています。

強調する必要があるのは、技術の進歩を促進する上で透明性と知識共有のメカニズムを強化する必要があるということです。 AGI の安全性に関しては、新たな安全性の問題を明らかにした研究者は、より大きな利益のために洞察を共有する必要があります。

私たちは、この規範を奨励しながら、どのようにして知的財産を尊重し、保護できるかを真剣に考える必要があります。そうすれば、協力を深めるための新たな扉が開かれるでしょう。

より広範には、AI の整合性と安全性に関する研究の促進と指導に投資する必要があります。

Open AI では、現在のシステムにおいて AI が有益かつ安全な役割を果たすことを可能にする技術的問題に焦点を当てて研究を行っています。これは、暴力の脅威を与えたり、ユーザーの有害な活動を支援したりしないような方法で ChatGPT をトレーニングすることも意味する場合があります。

しかし、AGI の時代が近づくにつれて、調整されていない AI システムの潜在的な影響とその規模は飛躍的に増大するでしょう。これらの課題に積極的に対処することで、将来の壊滅的な結果のリスクを最小限に抑えることができます。

現在のシステムでは、主に人間のフィードバックを伴う強化学習を使用して、有用なセキュリティ アシスタントになるようにモデルをトレーニングします。これは、トレーニング後のさまざまな調整テクニックの一例にすぎません。また、私たちは、多大な労力を要するエンジニアリング作業を必要とする新しいテクノロジーにも熱心に取り組んでいます。

GPT4 の事前トレーニングが終了してからデプロイするまで、調整作業に 8 か月を費やします。全体として、私たちはここで良い仕事をしていると考えています。 GPT4 は、以前のどのモデルよりも人間に合わせたものになっています。

しかし、より高度なシステムにとって調整は依然として未解決の問題であり、ガバナンスと監視を強化した新しい技術的アプローチが必要であると私たちは主張しています。

将来の AGI システムについては、100,000 行のバイナリ コードが提案されています。人間の監督者は、そのようなモデルが何か不正なことをしているかどうかを発見する可能性は低いです。そのため、私たちはブレークスルーにつながることを期待して、いくつかの新しい補完的な研究方向に投資しています。

** **1 つはスケーラブルな監視です。 AI システムを使用して、人間が他の AI システムを監視できるようにすることもできます。たとえば、人間の監督が他のモデルの出力の欠陥を見つけられるようにモデルをトレーニングできます。 ** 2つ目は解釈能力です。私たちは、これらのモデルの内部で何が起こっているのかをよりよく理解したいと考えました。私たちは最近、GPT-4 を使用して GPT-2 のニューロンを解釈する論文を発表しました。 **別の論文では、モデルの内部構造を使用して、モデルが嘘をついている場合を検出します。 **まだまだ道のりは長いです。私たちは、高度な機械学習技術により、説明能力をさらに向上できると信じています。

最終的な目標は、AI システムをトレーニングしてアライメント研究を支援することです。 **このアプローチの利点は、AI 開発のスピードに合わせて拡張できることです。

リスクを軽減しながら AGI の並外れたメリットを享受することは、現代の重要な課題の 1 つです。私たちは、中国、米国、そして世界中の研究者が同じ目標に向かって協力し、AGI アラインメントによってもたらされる技術的課題の解決に熱心に取り組む大きな可能性を見出しています。

これができれば、AGI を使用して世界で最も重要な問題を解決し、人類の生活の質を大幅に向上させることができると私は信じています。どうもありがとう。

以下は会話の記録です:

今後 10 年以内に、非常に強力な AI システムが完成するでしょう

Zhiyuan Research Institute の張宏江会長は、次のように尋ねました。 **私たちは汎用人工知能 (AGI) からどれくらい離れていますか?そのリスクは差し迫ったものなのでしょうか、それともまだ遠いのでしょうか? **

サム・アルトマン: 時期を見積もるのは難しいです。 **今後 10 年以内に非常に強力な AI システムが登場する可能性が非常に高く、新しいテクノロジーは私たちが思っているよりも早く世界を根本的に変えるでしょう。 **その世界では、これ（AIの安全ルール）を正しくすることが重要かつ緊急であると考えており、それが私が国際社会に協力するよう呼びかける理由です。

ある意味で、私たちが現在目にしている新しいテクノロジーの加速と全体的な影響は前例のないものです。したがって、これから起こることに備え、安全上の懸念を認識することが重要だと思います。 AI の規模が非常に大きいことを考えると、そのリスクは重大です。

AGI セキュリティの分野において、この問題、特に AI の安全性の問題を解決する上で、各国の利点は何だと思いますか。これらの強みをどのように組み合わせることができるでしょうか?

AI の安全基準とフレームワークを提案するための世界的な協力

張宏江：先ほどの紹介の中で、世界的な協力が進んでいると何度かおっしゃいました。私たちは、世界が過去にかなりの危機に直面したことを知っています。どういうわけか、彼らの多くにとって、私たちはなんとか合意を築き、世界的な協力を構築することができました。あなたは世界ツアーも行っていますが、どのような世界的なコラボレーションを推進しようとしていますか？

サム・アルトマン: はい、これまでの皆さんの反応と回答にとても満足しています。人々はAGIのリスクと機会を非常に真剣に受け止めていると思います。

安全保障に関する議論はこの 6 か月で大きく前進したと思います。リスクを軽減するために世界的に協力しながら、これらの利点を享受できる構造を見つけることに真剣に取り組んでいるように見えます。私たちはこれを行うのに非常に適していると思います。世界的な協力は常に困難ですが、私はそれが世界を一つにする機会であると同時に脅威であると考えています。これらのシステムのフレームワークとセキュリティ標準を考え出すことができれば、非常に役立ちます。

人工知能のアライメント問題を解決する方法

張宏江: 高度な人工知能の連携は未解決の問題であるとおっしゃいました。 OpenAI がここ数年、多大な努力を払ってきたことにも気づきました。 GPT-4 はアライメントの分野で最も優れた例であるとおっしゃいました。 AGI の安全性の問題を微調整 (API) だけで解決できると思いますか?それとも、この問題を解決する方法よりもはるかに難しいですか？

サム・アルトマン: アライメントという言葉を理解するにはさまざまな方法があると思います。私たちが解決する必要があるのは、人工知能システム全体の課題だと思いますが、伝統的な意味での調整、つまりモデルの動作をユーザーの意図に一致させることは、確かにその一部です。

しかし、システムが何をしているのか、何をしてほしいのかをどのように検証するのか、システムの価値をどのように調整するのかなど、他の問題もあるでしょう。 AGI の安全性の全体像を把握することが最も重要です。

技術的な解決策がなければ、他のすべては困難です。セキュリティの技術的側面に確実に対処することに重点を置くことが非常に重要だと思います。先ほども述べたように、私たちの価値観を理解することは技術的な問題ではありません。技術的な投入は必要ですが、社会全体で深く議論する価値のある問題です。私たちは公平で、代表的で、包括的なシステムを設計しなければなりません。

Zhang Honjiang: アライメントに関しては、私たちが見ている GPT-4 は、技術的な観点からは依然として解決策です。しかし、テクノロジー以外にも多くの要因があり、多くはシステム的なものです。 AI の安全性も例外ではないかもしれません。技術的な側面以外に、その他の要因や問題点は何ですか? AI の安全性にとってそれは重要だと思いますか?これらの課題にどのように対応すべきでしょうか?特に私たちのほとんどは科学者ですから。私たちは何をすべき。

サム・アルトマン: 確かにこれは非常に複雑な質問です。しかし、それ以外のことは技術的な解決策がなければ困難です。政府にとって、安全保障の技術的側面に確実に対処することに重点を置くことが非常に重要だと思います。 **先ほども述べたように、私たちの価値観を理解することは技術的な問題ではありません。技術的なインプットも必要ですが、社会全体で深く議論する価値のある問題でもあります。 **私たちは、公平で、代表的で、包括的なシステムを設計する必要があります。 **

そして、ご指摘のとおり、AI モデル プル自体だけでなく、システム全体の安全性についても考える必要があります。

したがって、AI が使用ポリシーに準拠しているかどうかを監視するシステム上で実行される、安全な分類器と検出器を構築できることが重要です。どのようなテクノロジーにおいても、発生するすべての問題を事前に予測することは難しいと思います。したがって、現実世界での使用から学び、それを繰り返し展開して、実際に現実を作成して改善すると何が起こるかを確認します。

人間と社会が学び、更新する時間を確保し、これらのモデルが良い意味でも悪い意味でも人々の生活にどのように影響するかを考えることも重要です。

すべての国の協力が必要です

張宏江：先ほど、世界協力について言及されました。あなたは世界中を旅されていますが、中国、米国、欧州が人工知能のイノベーションの原動力となっています。あなたの意見では、AGI において、AGI 問題を解決する上で、特に人の安全の問題? 質問です。これらの強みをどのように組み合わせることができるでしょうか?

Sam Altman: 一般的には、さまざまな視点と AI の安全性が必要だと思います。まだすべての答えは出ていませんが、これはかなり難しくて重要な質問です。

また、前述したように、AI を安全で有益なものにすることは純粋に技術的な問題ではありません。さまざまな国の、まったく異なる状況におけるユーザーの好みを理解することが含まれます。これを実現するには、さまざまなインプットが必要です。中国には世界最高の AI 人材がいます。基本的に、高度な AI システムを調整する難しさに対処するには、世界中の最高の頭脳が必要だと思います。したがって、中国のAI研究者がここで大きな貢献をしてくれることを心から願っています。

AGI をより安全にするためには非常に異なるアーキテクチャが必要です

Zhang Honjiang: GPT-4 と AI の安全性に関する追加の質問。インフラストラクチャ全体、または AGI モデルのアーキテクチャ全体を変更する必要がある可能性はありますか。より安全に、より簡単に検査できるようにするためです。

Sam Altman: 機能の観点とセキュリティの観点の両方から、非常に異なるアーキテクチャが必要になる可能性は十分にあります。

現在、さまざまなモデルの機能を説明し、モデルが何をしているのか、なぜそうなっているのかをよりよく説明してもらうことで、ある程度の進歩、良い進歩を遂げることができると思います。しかし、そうですね、『トランスフォーマー』の後にまた大きな飛躍があったとしても私は驚かないでしょう。オリジナルの Transformer から多くのアーキテクチャを変更しました。

OpenAI オープンソースの可能性

張宏江: 今日のフォーラムは AI の安全性に関するものだと理解しています。人々は OpenAI に非常に興味を持っているので、AI の安全性だけでなく、OpenAI についてもたくさんの質問があります。ここで聴衆に質問がありますが、OpenAI がバージョン 3.0 以前のようにモデルを再度オープンソース化する計画はありますか?また、オープンソースは AI の安全性にとっても良いと思います。

Sam Altman: 私たちのモデルには、オープンソースであるものもあれば、そうでないものもありますが、時間が経つにつれて、将来的にはさらに多くのモデルをオープンソース化し続けることを期待すべきだと思います。具体的なモデルやスケジュールはありませんが、それについては現在話し合っているところです。

張宏江氏: BAAI は、モデルやアルゴリズム自体も含め、すべての取り組みをオープンソースにしています。私たちは、あなた方が彼らがコントロールしているものであると認識している、共有し、与えるこのニーズがあると信じています。あなたも同様のアイデアをお持ちですか、またはこれらのトピックについて OpenAI の同僚や同僚の間で議論されましたか。

Sam Altman: そうですね、**オープンソースにはある意味で重要な役割があると思います。 **

最近では、新しいオープンソース モデルも多数登場しています。 APIモデルも重要な役割を担っていると思います。これにより、追加のセキュリティ制御が提供されます。特定の使用をブロックできます。特定の種類の調整をブロックできます。何かがうまくいかない場合は、元に戻すことができます。現行モデルの規模であれば、それほど心配はありません。しかし、モデルが私たちが期待するほど強力になるにつれて、私たちの考えが正しければ、すべてをオープンソース化することが最善の道ではないかもしれないと思います。ただし、それが正しい場合もあります。 **慎重にバランスを取る必要があると思います。 **

将来的にはオープンソースの大規模モデルがさらに増える予定ですが、具体的なモデルやスケジュールはありません。

AGI の次のステップは? GPT-5 はもうすぐ登場しますか?

張宏江：私も研究者として興味がありますが、AGI研究の次の方向性は何でしょうか？大規模なモデル、大規模な言語モデルに関しては、GPT-5 がすぐに登場するでしょうか?次のフロンティアは具現化モデルでしょうか?自律型ロボット工学は、OpenAI が検討している、または検討する予定の分野ですか?

サム・アルトマン: 私も次の展開に興味があります。この仕事をしていて気に入っていることの 1 つは、最先端の研究で多くの興奮と驚きがあることです。私たちはまだ答えを持っていないので、多くの新しいパラダイムの可能性を模索しています。もちろん、ある時点で GPT-5 モデルの開発を試みる予定ですが、すぐにはそうではありません。正確にいつなのかは分かりません。私たちは OpenAI の初期段階からロボット工学に取り組んでおり、ロボット工学に非常に興味を持っていますが、いくつかの困難がありました。いつかこのフィールドに戻れることを願っています。

張宏江：素晴らしいですね。プレゼンテーションでは、GPT-2 がどのように機能し、モデルをより安全にするかを説明するために GPT-4 を使用する方法についても言及しました。このアプローチは拡張可能ですか? OpenAIは今後もこの方向性を進めていくのでしょうか？

サム・アルトマン: 私たちはこの方向に向かって突き進んでいきます。

張宏江: この方法は生物学的ニューロンに適用できると思いますか?なぜなら、私がこの質問をする理由は、この方法を借りて、人間のニューロンが自分たちの分野でどのように機能するかを研究し、探索したいと考えている生物学者や神経科学者がいるからです。

サム・アルトマン: 生物学的ニューロンよりも人工ニューロンで何が起こっているかを確認する方がはるかに簡単です。 **したがって、このアプローチは人工ニューラルネットワークに有効だと思います。 **他のモデルを理解するために、より強力なモデルを使用する方法があると思います。しかし、このアプローチを人間の脳にどのように適用するのかはよくわかりません。

モデルの数を制御することは可能ですか?

張宏江：わかりました、ありがとうございます。 AI の安全性と AGI 制御について話しましたが、私たちが議論してきた疑問の 1 つは、世界に 3 つのモデルしか存在しない方が安全なのでしょうか?それは核管理のようなもので、核兵器の拡散を望まないのです。私たちはこの技術を入手できる国の数を制御しようとするこの条約を締結しています。では、モデルの数を制御することは実現可能な方向なのでしょうか?

サム・アルトマン: 世界で少数派モデルと多数派モデルのどちらが安全かについては、さまざまな意見があると思います。それよりも重要なことは、堅牢なモデルの安全性が適切にテストされるシステムがあるかどうか、ということだと思います。十分に堅牢なモデルを作成する人が、作成したものが安全で整合していることを保証するためのリソースと責任の両方を持てるフレームワークはあるでしょうか?

張宏江氏: 昨日の会議で、MIT フューチャー・オブ・ライフ研究所のマックス教授は、医薬品開発を管理する方法に似た、可能な方法について言及しました。科学者や企業が新薬を開発する場合、それを直接販売することはできません。このテストプロセスを経る必要があります。これは私たちが学べることなのでしょうか？

Sam Altman: さまざまな業界で開発されたライセンスとテストのフレームワークから多くのことを学べると確信しています。しかし、基本的にはうまくいくものがあると思います。

張宏江: ありがとうございます、サム。オンラインではありましたが、お時間を割いてご参加いただきまして誠にありがとうございます。まだたくさんの質問があると思いますが、時間の関係上、ここでやめなければなりません。次回あなたが中国に来る機会があり、北京に来て、より深い議論ができることを願っています。どうもありがとうございます。