配列とハッシュ マップ - AI がデータを保存および取得する方法
このレッスンは日本語に自動翻訳されたもので、まだ人によるチェックを受けていません。表現に違和感がある場合は、英語の原文が正となります。
AI においてデータ ストレージが重要な理由
すべての AI システムは、データを迅速に保存および取得する必要があります。画像内のピクセル値のリストであれ、50,000 語の語彙であれ、何百万ものユーザー設定であれ、データ構造の選択によって AI の思考速度が決まります。
配列とハッシュ マップという 2 つの構造が支配的です。これらをマスターすれば、ほぼすべての AI パイプラインの基礎が得られます。
配列 - 即時にアクセスできる順序付きリスト
配列は、メモリ内に並べて保存される項目の番号付きリストです。各項目には インデックス があり、リスト内での位置はゼロから始まります。
index: 0 1 2 3 4
value: ["cat", "dog", "bird", "fish", "frog"]
アイテムは隣り合って配置されているため、任意の位置に直接ジャンプできます。アイテム 3 が欲しいですか?完了 - 検索は必要ありません。これは O(1) アクセスです。つまり、配列に 10 項目が保持されようと、1,000 万個の項目が保持されようと、所要時間は同じになります。
配列が輝くとき
- 特徴ベクトル: 画像は、それぞれが輝度値を保持する 784 個の数値 (28×28 ピクセル) の配列として表すことができます。
- 埋め込み: 言語モデルは、単語の意味を数百の浮動小数点数の配列として保存します。
- バッチ処理: GPU が数千のサンプルを同時に処理できるように、トレーニング データが配列にロードされます。
キャッチ
途中でアイテムを挿入または削除すると、コストがかかります。変更後のすべての項目は一緒にシャッフルする必要があります。これは O(n) です。項目が多いほど、時間がかかります。
10,000 曲のプレイリストがあり、位置 5 に新しいトラックを挿入したい場合、位置 5 以降のすべての曲をシフトする必要があります。ストリーミング サービスは速度を落とさずにこれにどのように対処できるでしょうか?
ハッシュ マップ - 名前による即時検索
ハッシュ マップ (ディクショナリまたはハッシュ テーブルとも呼ばれます) は、データを キーと値のペア として保存します。インデックス番号で項目にアクセスするのではなく、意味のあるキーで項目にアクセスします。
word_counts = {
"hello": 42,
"world": 37,
"AI": 156
}
「AI」のカウントが必要ですか?ハッシュ マップは ハッシュ関数 を使用して、バックグラウンドでキーをインデックスに変換します。結果？ O(1) 平均検索時間 - 配列と同様ですが、数値の代わりに名前を使用します。
Python の辞書はハッシュ マップです。 ChatGPT はトレーニング中に単語の出現頻度をカウントする際、ハッシュ マップのような構造を使用して、インターネットのテキスト全体にわたる数十億の単語の出現を追跡します。
実際の AI によるハッシュ マップの使用法
- 語彙マッピング: 「brilliant」のような単語を言語モデルのトークン ID 8921 に変換します。
- 頻度カウント: データセット内に各単語がどのくらいの頻度で出現しますか?ハッシュ マップはこれに 1 回のパスで答えます。
- : AI が入力 X の予測をすでに計算している場合は、再計算できないように保存します。
ディスカッション
サインイン してディスカッションに参加