Complete Gate Post tasks to upgrade your rank

Credit Ranking

[//]:content-type-MARKDOWN-DONOT-DELETE
![](https://gimg2.gateimg.com/image/article/1686098682RDZZ.jpeg)
GPTはテキストを翻訳してデータを要約し、マーケティングなどのさまざまな目的に適したコンテンツを作成できます。MetaのMegabyteは、OpenAiのGPT-4やChatGPTなどの他のGPTシステムが直面する障害を克服することを目的としています。Megabyteはトークン化を使用しないため、他のGPTモデルとは異なります。Megabyteモデルは、ローカルトランスフォーマー、パッチエンベッダーおよびグローバルトランスフォーマーで構成されます。
##はじめに
技術革新は、人間が対話し、個人やビジネスを含むさまざまなタスクを実行する方法に革命をもたらしました。機械学習とも呼ばれる人工知能は、エッセイを書いたり、財務計画を立てたりするなど、さまざまな活動を実行できます。この記事では、自然言語処理とそのアプリケーションにおける生成事前学習トランスフォーマー(GPT)の重要性、GPTのいくつかの障害を克服するMetaのMegabyteシステムにも焦点を当てます。
##自然言語処理におけるGPTの重要性
Generative Pre-trained トランスフォーマー(GPT)は、生産性を向上させ、社会的意識を高めるため、経済のさまざまな分野で多くの利点があります。まず、GPTがさまざまな主題について人間のようなテキストを作成することを知っておくことが重要です。

GPTは、さまざまなパラメーターを使用してデータを処理し、わかりやすい方法でデータを表示します。GPTを使用して人間と社会一般に価値を生み出すさまざまなアプリケーションがあります。

基本的に、GPTは、情報をある言語から別の言語に翻訳する人工知能駆動アプリケーションの重要なコンポーネントです。また、大量のデータを生成し、理解しやすい情報に要約します。場合によっては、GPTにより、詩、ブログ投稿、学術エッセイ、マーケティング資料などのさまざまな言語のコンテンツの生成が可能になります。

企業はGPTを使用して、会話形式で現実の人々と対話できるチャットボットや仮想アシスタントを強化することもでき、ビジネスや社会のさまざまな側面を理解するのに役立ちます。ビジネス目的では、興味のあるトピックや分野に関するセンチメント分析を生成できます。一例として、トレーダーや他の投資家が情報に基づいた投資決定を行えるようにする暗号資産市場のセンチメントを生成するAI主導のプロトコルがあります。

自然言語プロセスおよびAIアプリケーションにおけるGPTのその他の使用例には、マーケティング商品、顧客サービス、財務情報の分析、データ抽出およびレポート用のコンテンツ作成などが含まれます。
##従来のGPTモデルの制限
[GPTの種類は](https://www.gate.io/live/video/90b1e91dd5e7fb207b1509a809e5b444 "GPTの種類は")色々あり、ChatGPTやOpenaiなどのさまざまなプラットフォームによって作成されていますが、そのほとんどには重大な制限があります。

[OpenAIのGPT-4およびChatGPTを含む](https://www.gate.io/blog_detail/2064/chatgpt-ai-impacts-healthcare-rising-prices-hit-americans-chinas-redistributive-policies-affect-property-developers "OpenAIのGPT-4およびChatGPTを含む")現在最高の生成AIモデルは、Google研究者によって導入されたトランスフォーマーアーキテクチャを使用します。自己注意スケールの増加と入力と出力の長さにより、各単語に注意が必要になるため課題が生じます。基本的に、このシステムは入力として使用される単語が少ない場合にうまく機能します。

ただし、Megabyte方式では、入力と出力のシーケンスをトークンではなくパッチに分割する異なるアーキテクチャが使用されているため、現在のモデルよりも多くのワードを処理できます。

また、Metaのアプローチは、現在市場に出ているほとんどのモデルに共通するスケーラビリティの問題を解決します。基本的に、Megabyteモデルでは、単一のフィードフォワードネットワークが複数のトークンで構成されるパッチに作用できるようになります。したがって、MetaのMegabyteシステムは、シリアルではなく並列で実行されます。これにより、ベースモデルに多くのパラメーターがある場合でも、効率が向上します。

こちらもお読みください：Metaについて、[会社は何に取り組んでいますか](https://www.gate.io/blog_detail/729/the-meta-metaverse-what-is-the-company-working-on "会社は何に取り組んでいますか")?

ディープニューラルネットワークなどの一部のモデルは理解と説明が複雑で、信頼性や説明責任が低下し、倫理的懸念が生じる可能性があります。そのため、説明が簡単なMeta AIのようなシンプルなモデルが必要です。システムがどのように機能して信頼を置くのかを知りたがります。

もう1つの問題は、これらのモデルの一部には、検証とトレーニングに多くのデータが必要であるということです。それにも関わらず、そのようなデータが利用できない可能性があるため、効率が低下します。さらに、ほとんどのGPTモデルの堅牢性とパフォーマンスにはデータの不完全性だけでなく、プライバシー、偏見、ノイズ、セキュリティに関連する問題も悪影響を及ぼします。

従来のAIモデルのほとんどは高価で、計算時に多くのエネルギーを消費します。これは、ほとんどのシステムが計算集約型であるためであり、そのため、多くのリソースを消費し、環境コストが増加します。

さらに、これらのモデルのほとんどは、標準化の違いにより相互運用性が低くなります。したがって、異なる言語、フレームワーク、フォーマットを使用するため、統合することは非常に困難です。しかし、ONNXやユニバーサルコンパイラなどのオープンフォーマットにより、モデルの相互運用性を強化できます。

Meta AIのアーキテクチャは、これらの問題のほとんどを克服する方法で作成されていることを認識することが重要です。
##MetaのMegabyteシステム
Meta AIが新たに開発した[Megabyteと呼ばれるGPTシステム](https://encord.com/blog/meta-ai-megabyte-model-architecture-explained/ "Megabyteと呼ばれるGPTシステム")は、ほとんどのGPTモデルが使用するトークン化を回避することを目的としており、その生成事前トレーニング変換器(GPT)システムは、ビデオや小説などのテキストなどの大量のデータをトークン化を使用せずに処理します。

ポイントとして、トークン化は大量のデータをトークンに変換することでファイル圧縮と同様に機能し、トランスフォーマーはトークンを処理して、システムがデコードする出力トークンを作成します。

通常、トークン化により、AIモデルは大きな文字列のデータを数値に変換できます。例えば、システムは「私の好きな色は赤です」のようなフレーズを、3666、4004、3124、318、2266などのトークン文字列に変換できます。

ただし、この方法では処理できるデータ量に制限があり、例えばGPT-3.5の制限は3,000〜4,000ワードであるのに対し、GPT-4の制限は24,000〜32,000ワードです。

対照的に、Metaはトークン化を廃止し、100万バイトを超えるデータのエンドツーエンドモデリングに依存する新しい多層予測アーキテクチャを採用しました。これは、最大750,000ワードで構成されるドキュメントを処理できることを考慮すると、素晴らしい成果です。これは、Megabyteシステムが平均的なサイズの小説3冊に含まれるデータを処理できることを意味します。

前述したように、Megabyteは、厳しいデータ制限、システムのトレーニングに必要な多大な時間、および高エネルギー消費から生じるトークン化の障害を克服します。また、トークン化せずに、AIモデルをトレーニングして英語以外の言語をサポートすることも可能です。例えば、標準の8ビット文字でエンコードされます。

Metaの人工知能暗号AIは、さまざまなブロックチェーン技術の民主化をさらに進め、既存の機会を拡大します。一例として、開発者はロシア語やフランス語などの母国語で暗号資産取引ボットを導入できます。さらに重要なのは、分散型自律組織(DAO)ができることです。プロトコルも現地の言語でコーディングします。
##Meta Megabyteシステムの仕組み
マルチスケールデコーダアーキテクチャであるMegabyteは、エンドツーエンドの微分可能性を維持しながら100万バイトを超えるシーケンスをモデル化し、データ内のグローバルとローカルの両方のpパターンをモデル化することで、アーキテクチャ内にさまざまなレベルを組み込むマルチスケールトランスフォーマーを使用します。

基本的に、Megabyteモデルは3つのコンポーネント、つまりローカルモジュール、パッチエンベ​​ッダー、およびグローバルモジュール(グローバルトランスフォーマー)で構成されます。ローカルモジュール(ローカルトランスフォーマーとも呼ばれる)は、各パッチ内のバイトを予測し、エンベッダーはパッチのエンコードを担当します。最後に、グローバルトランスフォーマーとしても知られるグローバルモジュールが、さまざまなパッチ表現を入力および出力します。

次の図は、Megabyteの概要を示しています。
![](https://gimg2.gateimg.com/image/article/1686098917Meta%201.png)
上の図は、Megabyteの主要なコンポーネントの一部を示しています。最近の実験では、Megabyteがトランスフォーマーモデルよりも40%高速であることが示されました。ただし、実験中に使用されたMegabyteには15億のパラメータがあり、トランスフォーマーモデルには15億のパラメータがあることに注意することが重要です。なお、3億5000万ありました。

全体として、Megabyteには従来のトランスフォーマーに比べていくつかの利点があり、例えば、自己認証の計算コストが削減され、長いシーケンスの処理が可能になります。

第2に、位置ごとではなくパスごとにフィードフォワード層を使用するため、計算リソースが効率的に利用されます。また、処理中の並列性が向上し、高いパフォーマンスを維持しながらシーケンス生成の高速化につながります。

Megabyteアーキテクチャは、スケーラビリティを向上させ、リソース消費を削減し、さまざまなGPTベースのアプリケーションとのスムーズな通信を可能にします。長いシーケンスを2つの短いシーケンスに分割することで、セルフアテンションコストを最低限に抑え、これらの利点の一部やパラメータ共有および圧縮アルゴリズムにより、GPTのリソース要件を実現します。
##結論
MetaのMegabyteは、事前にトレーニングされた生成変換システムを使用して、トークン化を使用せずに大量のデータを処理し、その代わりに、コストを最低限に抑え、速度を向上させ、効率を向上させる多層予測アーキテクチャを利用し、スケーラビリティと相互運用性を向上させます。


**著者：Gate.ioの研究者Mashell C.
翻訳者：AkihitoY.**
免責事項：
*この記事は研究者の意見を表すものであり、取引に関するアドバイスを構成するものではありません。

*本記事の内容はオリジナルであり、著作権はGate.ioに帰属します。転載が必要な場合は、作者と出典を明記してください。そうでない場合は法的責任を負います。



简体中文

English

Tiếng Việt

Español

Русский язык

Français

ภาษาไทย

日本語

Indonesia

Deutsch

عربي

Português (Portugal]

Português (Brasil]

繁體中文

Українська

福利中心

铭文导航-铭文Launchpad

铭文-铭文导航

铭文-web3startup

新币挖矿

小红花-Exchange-Startup

交易-创新交易

交易-盘前交易

打新

小红花-Learn & Explore-博客

小红花-Learn & Explore-快讯

币圈-币圈-未来事件

小红花-Learn & Explore-聊天室

小红花-Learn & Explore-直播

小红花-Learn & Explore-动态

年度账单

币圈

Gate OTC

芝麻金融-更多-财富管理

机构-APIs

机构-大宗交易服务

机构-经纪商项目

全球做市商计划

机构-托管和资产管理

机构借贷

机构-做市商项目

小红花-Promotions-机构和VIP服务

量化基金

机构-基础架构

机构-交易

机构-金融

结构化产品

机构-主页

衍生品-统一账户

芝麻金融-更多-抵押借币

vip服务

机构

策略跟单

现货跟单

合约跟单

跟单

量化策略-探索

量化策略-进阶

量化策略-基础

机器人广场

创建机器人

探索机器人

杠杆网格

无限网格

期现套利

组合指标策略

智能调仓

现货马丁格尔

合约网格

现货网格

交易机器人

芝麻金融-更多-ETH2.0挖矿

芝麻金融-更多-法币理财

USDE挖矿

链上赚币

芝麻金融-理财-双币宝

芝麻金融-理财-定期理财(屯币)

芝麻金融-理财-结构性理财

芝麻金融-理财-理财宝

芝麻金融-理财-余币宝

GT挖矿

芝麻金融-更多

芝麻金融-理财

赚币

模拟交易

衍生品-实盘跟单

衍生品-期权

衍生品-交割合约

衍生品-永续合约

衍生品-合约中心

合约入门

合约活动

衍生品

交易-量化策略

交易-杠杆ETF

交易-杠杆交易

交易-闪兑

交易-现货交易

交易

行情

买币-gateCard

卖币

买币-快捷交易

买币

买币-paywith

法币定投

小红花-推广

新手指南

活动中心

小红花-Learn & Explore-学院

任务广场

小红花-Exchange-最新公告

小红花-Exchange-帮助中心

小红花-Exchange-交易所

gate商店

小红花-Promotions-推荐官计划

小红花-Promotions-邀请计划

小红花-promotions-代理商

cextg小程序

储备金

合作伙伴

小红花

web3

Metaの新しいMegabyteシステム：GPTの障害を克服するブレークスルー