公開レッスンプレビュー
言語モデルが BPE やその他のアルゴリズムを使用してテキストをトークンに分割する方法と、トークン化がコストから機能まですべてを形作る理由を学びます。
このレッスンを終えると、次を理解できます:
ニューラル ネットワークは数値を処理します。彼らはあなたと同じように「こんにちは」という言葉を読むことができません。言語モデルがテキストを処理できるようにするには、テキストを トークン と呼ばれる小さな数値部分に分割する必要があります。この一見単純なステップは、AI が言語をどのように理解するか、そして誤解するかに重大な影響を及ぼします。
トークン化 - AI がテキストを読み取る方法 の一部です AI Sprouts（芽）
トークン化 - AI がテキストを読み取る方法はAI Sprouts（芽）の一部です。アップグレードすると、完全なレッスン、クイズ、進捗トラッキング、すべてのアカデミーを利用できます。
7日間無料。いつでも理由を問わず解約できます。