ChatGPT に質問したり、Google 翻訳で文章を翻訳したり、GitHub Copilot からコードの提案を取得したりするたびに、トランスフォーマー の力が実際に動作しているのを目の当たりにすることになります。 2017 年に導入された変圧器アーキテクチャは、現代の人工知能における最も重要な革新となっています。この記事では、トランスフォーマーがどのように機能するのか、トランスフォーマーが古いアプローチを置き換えた理由、そしてトランスフォーマーがどのようにして何百万人もの人々が毎日使用している AI ツールを強化するのかを正確に学びます。あなたが意欲的なデータ サイエンティストであっても、単に AI 革命の背後にあるテクノロジーに興味がある人であっても、このガイドでは複雑な概念を明確で理解しやすい説明に分解します。
変圧器がなぜそれほど重要なのかを理解するには、変圧器以前に何があったのかを理解することが役立ちます。
トランスフォーマーが登場する以前、処理言語の主要なアーキテクチャは リカレント ニューラル ネットワーク (RNN) と、その改良型である 長期短期記憶ネットワーク (LSTM) でした。これらのモデルは、本を左から右に読むのと同じように、前に飛ばしたり戻ったりすることなく、一度に 1 単語ずつテキストを順番に処理しました。
この一連の処理により、2 つの大きな問題が発生しました。まず、痛ましいほど遅かった。各単語は前の単語が処理されるまで待機する必要があるため、大規模なデータセットでのトレーニングには膨大な時間がかかりました。第 2 に、RNN は 長距離の依存関係に苦労しました。段落の先頭の単語が終わり近くの単語を理解するために重要である場合、モデルは多くの場合、後の単語に到達するまでに前のコンテキストを「忘れて」しまいます。小説の最終章を読みながら、その最初の文を思い出そうとしているところを想像してみてください。それが根本的な課題でした。
2017 年、Google の研究者チームは 「必要なのは注意だけです」 というタイトルの論文を発表し、それがすべてを変えました。この論文では、逐次処理を完全に放棄した トランスフォーマー アーキテクチャ が紹介されました。トランスフォーマーは、一度に 1 つずつ単語を読み取るのではなく、文内のすべての単語を同時に処理し、「アテンション」と呼ばれるメカニズムを使用して、どの単語が互いに最も関連しているかを判断します。
この並列処理により、トランスフォーマーのトレーニングが劇的に高速化されました。さらに重要なことは、アテンション メカニズムが長距離依存性の問題をエレガントに解決したことです。その結果、非常に強力で柔軟なアーキテクチャが誕生し、現在では大規模な言語モデルから画像ジェネレーターに至るまで、事実上すべての主要な AI システムの基盤を形成しています。
重要なポイント: Transformers は、遅くて忘れやすい逐次モデルを、距離に関係なく文内の任意の単語を他の単語に関連付けることができる高速な並列処理に置き換えました。
注意メカニズムはトランスの心臓部です。それを理解するために、この例えを考えてみましょう。
ミステリー小説を読んでいて、次の文に遭遇したと想像してください。 「探偵はテーブルの上に残した虫眼鏡を手に取りました。」 「彼女」という単語を読むと、脳は自動的に「探偵」に戻り、「彼女」が誰を指すのかを理解します。すべての言葉に同じ焦点を当てているわけではありません。最も関連性の高いものに参加します。
それはまさに、注意メカニズムが行うことです。文内の任意の単語が与えられると、他のすべての単語にどの程度の「注意」を払うべきかを計算します。これにより、関連する単語が最終的な理解にさらに寄与する重み付けされた組み合わせが生成されます。
注意の仕組みは、クエリ、キー、値という 3 つの概念に基づいています。図書館で検索するようなものだと考えてください。
クエリを持って図書館に入ると、それをすべてのキー (本のラベル) と比較します。クエリとキーの一致が高いほど、その本の価値 (内容) に注目することになります。 「気候科学」というタイトルの本が注目を集めている。 「古代史」はほとんど取り上げられていません。
トランスフォーマーでは、すべての単語が独自のクエリ、キー、および値のベクトルを生成します。各単語のクエリが他のすべての単語のキーと比較され、注意スコアが生成されます。これらのスコアによって、各単語の値がどの程度最終的な表現に混合されるかが決まります。その結果、文内のすべての単語が文脈を意識した豊かな理解が得られます。
具体的な例を用いて、セルフ・アテンションについて見ていきましょう。次の文を考えてみましょう。「猫は疲れていたのでマットの上に座りました。」
ステップ 1: Q、K、V ベクトルを生成します。 各単語は、学習された重み行列を使用して 3 つのベクトル (クエリ、キー、値) に変換されます。これらは、単語の埋め込みを数学的に投影したものにすぎません。
ステップ 2: 注意スコアを計算します。 単語「it」について、モデルは「it」のクエリと他のすべての単語のキーの間のスコアを計算します。 「猫」は猫を指すため、スコアが高くなります。 「on」のスコアは意味的に関連性がないため低くなります。
ステップ 3: ソフトマックスを適用します。 生のスコアはソフトマックス関数に渡され、合計が 1 になる確率に変換されます。これにより分布が作成されます。おそらく、「猫」の重みは 0.65、「疲れた」の重みは 0.15、そして残りの単語が残りを共有します。
ステップ 4: 加重合計を計算します。 モデルは、各単語の値ベクトルにそのアテンション ウェイトを乗算し、それらをすべて合計します。結果として得られる「それ」のベクトルは、「猫」からの情報に大きく影響されており、これはまさに私たちが必要とする文脈上の理解です。
このプロセスはすべての単語に対して同時に行われるため、モデルは 1 回のパスで文全体の豊富な相互接続表現を構築できます。
重要なポイント: 自己注意により、各単語が文内の他のすべての単語に「注目」し、どの単語が互いに最も関連しているかを自動的に学習します。
1 つのアテンション計算で、単語間の 1 つのタイプの関係が取得されます。しかし、言語は複雑です。 「銀行」という単語は、その意味については「川」、文法構造については「the」、より広い文脈については「洪水」に注意する必要があるかもしれません。 1 つの注意ヘッドがこれらすべての関係を同時に捉えることはできません。
解決策は複数の頭の注意です。アテンションを 1 回計算する代わりに、トランスフォーマーは学習された Q、K、V 重み行列の独自のセットを使用して、複数のアテンション操作を並行して実行します。これは、同じ文書を検討するために専門家のパネルを編成することと考えてください。ある専門家は文法と構文に重点を置いています。もう 1 つは意味論的な意味に焦点を当てています。 3 番目は、共参照 (「それ」または「彼ら」が何を指すか) を探します。各専門家は異なることに気づきます。
実際には、典型的な変圧器は 8、12、さらには 128 個のアテンション ヘッドを使用する場合があります。すべてのヘッドが結果を個別に計算した後、その出力は連結され、線形層を通じて投影されて、最終的なアテンション出力が生成されます。
この複数の視点からのアプローチが、変圧器が非常に効果的である主な理由です。彼らは一度に言語の一側面だけを理解しているわけではありません。文法、意味、参照、文脈をすべて一度に捉えます。
注意を理解したところで、ズームアウトして完全な変圧器がどのように組み立てられているかを見てみましょう。
エンコーダーは入力シーケンスを受け取り、それを深くコンテキスト化した表現を構築します。これは同一のレイヤー (通常は 6 または 12) のスタックで構成され、各レイヤーには 2 つのサブレイヤーが含まれます。マルチヘッドセルフアテンション メカニズムとそれに続く位置方向のフィードフォワード ネットワークです。
エンコーダーは入力全体を一度に読み取り、すべての単語が他のすべての単語に対応できるようにします。データがすべてのエンコーダー層を通過するまでに、モデルは意味、コンテキスト、関係を捉える入力を十分に理解します。
デコーダは、出力シーケンスを一度に 1 トークンずつ生成します。これも同一のレイヤーのスタックで構成されていますが、エンコーダーの出力に対応する クロスアテンション レイヤーという重要な追加機能が追加されています。これは、デコーダが新しいテキストを生成する際に元の入力を「読み取る」方法です。
デコーダは、マスクされたセルフアテンションも使用します。これにより、生成中に将来のトークンが表示されなくなります。次の単語を予測するとき、モデルは、後で出現する単語ではなく、すでに生成された単語のみを確認できます。これにより、生成プロセスが因果関係と自己回帰性を維持することが保証されます。
トランスフォーマーはすべての単語を同時に処理するため、語順の感覚が組み込まれていません。 「犬が人を噛む」という文と「人が犬を噛む」という文は、位置をエンコードする何らかの方法がなければ同一に見えます。 位置エンコードは、シーケンス内の位置に基づいて各単語の埋め込みに一意の信号を追加することでこの問題を解決します。元の論文では、異なる周波数のサイン関数とコサイン関数を使用して、モデルが解釈を学習できる各位置に個別のパターンを作成しました。
各変換レイヤーには、残留接続 (トレーニング中の勾配の流れを支援するショートカット) と レイヤー正規化 (学習プロセスを安定化します) も含まれています。各層内のフィードフォワード ネットワークにより処理能力が追加され、モデルが複雑な非線形変換を学習できるようになります。
重要なポイント: 完全なトランスフォーマーは、セルフアテンション、クロスアテンション、位置エンコーディング、およびフィードフォワード ネットワークを組み合わせて、言語の理解と生成の両方が可能な強力なアーキテクチャを実現します。
オリジナルのトランスフォーマーはエンコーダーとデコーダーの両方を使用していました。しかし、研究者はすぐに、半分だけを使用すると特定のタスクに非常に効果的であることを発見しました。
BERT (Transformers からの双方向エンコーダー表現) はエンコーダーのみを使用します。テキストを両方向に同時に読み取り、言語に対する双方向の深い理解を構築します。 BERT はトレーニング中に マスクされた言語モデリング と呼ばれる手法を使用します。つまり、文内のランダムな単語が隠され、モデルは周囲のコンテキストから単語を予測することを学習します。
この双方向アプローチにより、BERT は既存のテキストを理解する必要があるタスクにおいて優れています。テキスト分類、感情分析、検索ランキング、質問応答に優れています。 Google が 2019 年に検索エンジンを改良したとき、その背後にあるテクノロジーは BERT でした。
GPT (Generative Pre-trained Transformer) はデコーダのみを使用します。テキストを左から右に読み取り、次のトークンの予測を通じて学習します。つまり、前の単語がすべて与えられた場合に、次の単語を予測します。この一見単純な目的を大規模に適用すると、エッセイを書き、質問に答え、コードを書き、会話を続けることができるモデルが生成されます。
GPT の自己回帰的な性質により、生成タスクに最適です。 ChatGPT、GitHub Copilot、および多くのクリエイティブ AI ツールはすべて GPT スタイルのアーキテクチャに基づいて構築されています。
|特集 | BERT (エンコーダー) | GPT (デコーダー) | |-------|--|---------------| |方向 |双方向 |左から右 | |トレーニング |マスクされた言語モデリング |次のトークンの予測 | |強み |理解、分類 |世代、会話 | |例 | Google 検索、スパム検出 | ChatGPT、副操縦士 |
トランスフォーマー アーキテクチャは、チャットボットをはるかに超えた画期的な進歩をもたらしました。
会話型 AI. ChatGPT、Claude、Gemini はすべてトランスフォーマー ベースのモデルで、微妙な複数ターンの会話に参加し、複雑な質問に答え、創造的および分析的なタスクを支援できます。
コード生成。 GitHub Copilot は、膨大なコード リポジトリでトレーニングされたトランスフォーマー モデルを使用して、関数全体を提案し、バグを修正し、さらには馴染みのないコードを説明します。世界中の開発者がこれを使用して、日々のワークフローを高速化しています。
画像の生成と理解。 ビジョン トランスフォーマー (ViT) は、単語の代わりに画像パッチに同じ注意メカニズムを適用します。 DALL-E や Stable Diffusion などのモデルは、トランスフォーマー コンポーネントを使用してテキストの説明から画像を生成し、言語と視覚の間の境界線を曖昧にします。
科学研究。 DeepMind の AlphaFold 2 は、生物学者を数十年にわたって悩ませてきた問題であるタンパク質構造予測を解決するために、トランスフォーマー ベースの注意を利用しました。この画期的な進歩により、創薬と病気の理解が加速しました。
変圧器の多用途性は、その基本設計から生まれます。注意は、入力が単語、ピクセル、アミノ酸、または音符であるかどうかを気にしません。データをシーケンスとして表現できる場合、トランスフォーマーはそこから学習できます。
トランスフォーマーは強力ですが、課題がないわけではありません。アテンション メカニズムには 2 次の複雑さがあります。これは、入力長が 2 倍になると、必要な計算が 4 倍になることを意味します。非常に長い文書や高解像度の画像の処理には依然としてコストがかかります。
研究者は解決策に積極的に取り組んでいます。 Mixture of Experts (MoE) モデルは、GPT-4 や Mixtral で使用されているものと同様、各入力に対してモデルのパラメーターのサブセットのみをアクティブにし、効率を劇的に向上させます。 Mamba のような 状態空間モデルは、強力なパフォーマンスを維持しながら線形複雑さでシーケンスを処理する代替アプローチを提供します。
マルチモーダル変圧器は、もう 1 つのエキサイティングなフロンティアを表しています。これらのモデルは、単一のアーキテクチャ内でテキスト、画像、オーディオ、ビデオを処理でき、人間と同じように世界を認識し推論する AI システムに私たちを近づけます。
これらの革新にもかかわらず、コアのトランス アーキテクチャは驚くほど回復力があることが証明されています。多くの新しいアプローチは、注目を置き換えるのではなく、その上に構築されます。変圧器を理解することは、単に今日の AI を理解することだけではありません。それは、明日の AI が構築される基盤を理解することです。
重要なポイント: 変圧器のアーキテクチャは、効率の向上とマルチモーダル機能を通じて進化し続けていますが、注意力と並列処理というその中心原則は依然として AI の進歩の中心です。
トランスフォーマーを理解することは AI への取り組みにおいて重要なステップですが、探索すべきことはまだたくさんあります。アテンション メカニズム、エンコーダ/デコーダ アーキテクチャ、BERT と GPT の違いなど、ここで学んだ概念は、微調整、ヒューマン フィードバックからの強化学習 (RLHF)、独自の AI アプリケーションの構築などの高度なトピックの基礎を形成します。
さらに進む準備はできていますか? AI Educademy がどのように役立つかは次のとおりです。
AI Canopy は、変圧器モデルをゼロから構築し、コードにアテンション メカニズムを実装し、最先端のアーキテクチャの背後にある数学を理解する当社の高度な深層学習プログラムです。この記事があなたの好奇心を刺激したのであれば、AI Canopy はその好奇心を専門知識に変えます。
AI Branches] は、自然言語処理、コンピューター ビジョン、生成 AI などの分野に特化した学習トラックを提供します。自分のキャリア目標に合った道を選択し、本番 AI システムを構築する実践者から学びましょう。
**すべてのプログラムを探索**して、基礎的な AI リテラシーから高度なエンジニアリングまで、自分のスキル レベルに適した出発点を見つけてください。
AI 革命はトランスフォーマーに基づいて構築されており、このアーキテクチャを理解することで時代の先を行くことができます。次のステップは、理解から構築に移行することです。私たちはそこに到達するお手伝いをしたいと思っています。