アマゾンは2018年、4年間開発してきたAI採用ツールを廃止した。このシステムは、求職者を 1 つ星から 5 つ星のスケールで評価するように設計されています。問題は、「女子チェスクラブ」などの「女子」という単語を含む履歴書を罰し、女子大学の卒業生を格下げすることを学んだことだ。このシステムは、テクノロジー業界における男性優位の過去のパターンを反映した過去の採用データに基づいてトレーニングされていました。それらのパターンを学習し、増幅しました。
Amazon のエンジニアはバイアスを修正しようとしましたが、最終的にシステムが中立であることを保証できませんでした。彼らはそれを閉鎖した。
これは責任ある AI の鋭い点です。善意で構築されたシステムは、公平性、説明責任、透明性について十分に考慮せずに導入すると、現実の人々に組織的に害を及ぼす可能性があります。
AI が雇用、融資、医療、刑事司法、教育などに組み込まれるようになるにつれ、これを適切に行うことはオプションではなくなります。このガイドでは、専門用語や手を振ることなく、重要な問題を明確に説明します。
責任ある AI とは、安全、公正、透明性があり、説明責任があり、人間の価値観に沿った方法で AI システムを開発、展開、保守する実践を指します。
それは単に危害を避けることだけではありません（それは重要ですが）。それは人々が信頼できる AI、つまり決定を説明し、異議を唱え、修正できるシステムを構築することです。
この分野には、相互に関連するいくつかの懸念事項が含まれています。
AI のバイアスは、パッチで修正できるプログラミングのバグではありません。それは世界、特に世界が歴史的に生成してきた偏ったデータを反映しています。
1.偏ったトレーニング データ
AI モデルはデータから学習します。そのデータが過去の不平等を反映している場合、モデルはそれらの不平等をルールであるかのように学習します。
例: 主に肌の色が明るい顔でトレーニングされた顔認識システムは、肌の色が濃い顔ではパフォーマンスが低下します。 Joy Buolamwini と Timnit Gebru による 2018 年の研究 (「ジェンダー シェード」研究) では、主要な市販の顔認識システムでは、肌の色が明るい男性と比較して、肌の色が濃い女性のエラー率が最大 34% 高いことがわかりました。これは悪意ではなく、人間の顔の多様性を表現していないトレーニング データでした。
2.ラベルバイアス
人間がトレーニング データにラベルを付けると、人間自身のバイアスがエンコードされます。人間のラベル作成者が一貫して「プロの」写真を男性または白人に関連付けると、モデルはこの関連付けを学習します。
3.フィードバックループ
バイアスのあるモデルがデプロイされ、その予測が今後のデータ収集に影響を与えると、バイアスがさらに増大します。特定の地域に警察を集中させる予測警察モデルでは、その地域でより多くの逮捕者が発生し、その地域が犯罪の多い地域であることを示唆するデータがより多く生成され、その地域での取り締まりが強化されます。サイクル自体が強化されます。
4.プロキシ変数
モデルは、保護された特性の代理として、一見中立的な特徴を使用することを学習することがあります。郵便番号は人種の代理となる可能性があります。出身大学は社会経済的背景の代用となる可能性があります。このモデルは人種を明示的に使用していませんが、事実上そうしています。
5.歴史的不正義を反映した歴史的データ
女性が歴史的に特定の職業から排除されてきた場合、歴史データに基づいてトレーニングされたモデルは、女性がその職業に就く可能性は低いことを学習し、その排除が永続する可能性があります。
これらは仮説ではありません。これらのことが起こりました。
COMPAS 再犯アルゴリズム: 米国の法廷で被告の再犯の可能性を予測するために使用されます。 2016年のプロパブリカの調査では、このシステムが白人被告に比べて黒人被告を高リスクとして誤って報告する可能性が2倍高く、白人被告を低リスクとして誤って報告する頻度が高かったことが判明した。これらのスコアは保釈の決定と量刑に影響を与えた。
COVID-19 中のパルスオキシメーター: 厳密には AI ではありませんが、医療分野の例です。血中酸素濃度を測定するパルスオキシメーターは、肌の色が濃い患者では精度が低く、治療が遅れる可能性があることが判明しました。これらのデバイスからのデータに基づいてトレーニングされた医療 AI も同じ欠陥を引き継ぎました。
Apple Card の利用限度額: 2019 年、複数のユーザーが、Apple Card のアルゴリズムにより、女性の利用限度額が同様またはより優れた財務プロファイルを持つ男性よりも大幅に低いと報告しました。このアルゴリズムはブラックボックスであり、申請者も Apple もその理由を簡単に説明できませんでした。
医療リソースの割り当て: 広く導入されている米国の医療アルゴリズムは、同様に病気の白人患者と比較して、黒人患者の医療ニーズを体系的に過小評価していることが判明しました。医療ニーズの代用として医療支出を使用しましたが、歴史的に黒人患者は受けられるケアが少なかったため、支出が少ないからといって必要性が低いというわけではありませんでした。
AI システムがあなたに関して重大な決定を下すとき (ローン申請、就職申請、保釈審査、がん検診など)、あなたはその理由を理解することに正当な関心を持ちます。
説明可能性 (解釈可能性とも呼ばれる) は、AI システムが特定の決定を下した方法と理由を説明する能力を指します。
これは技術的に困難です。最も強力な AI モデルの一部、特にディープ ニューラル ネットワークは、解釈が非常に困難です。これらは、単純な説明に還元できない方法で、数百万または数十億のパラメータにわたって動作します。
欧州連合では、GDPR (一般データ保護規則) により、個人に重大な影響を与える完全に自動化された決定の対象とならない権利と、そのような決定が行われた場合に意味のある説明を受ける権利が個人に与えられています。
EU AI 法 (2024 年に発効) はさらに踏み込み、高リスクの AI システムには透明性と説明可能性を求めています。高リスクのアプリケーションには、雇用、融資、医療、法執行機関、教育における AI が含まれます。
LIME (ローカルで解釈可能なモデルに依存しない説明): より単純で解釈可能なモデルを使用してローカルでモデルを近似することによって、個々の予測を説明します。
SHAP (SHApley Additive exPlanations): ゲーム理論を使用して、各特徴に特定の予測の寄与スコアを割り当てます。
注意の視覚化: Transformer モデルでは、予測を行うときにモデルが入力のどの部分に最も「注目」したかを視覚化できます。
これらの手法は不完全であり、活発な研究が続けられていますが、説明責任に向けて有意義な進歩を示しています。
AI システムはデータに基づいてトレーニングされます。多くの場合、明確なインフォームドコンセントが得られずに、何十億人もの人々から収集された個人データです。
主な懸念事項:
トレーニング データの同意: 大規模な言語モデルは、インターネットから収集したテキストでトレーニングされました。その文章の一部には個人情報が含まれています。ブログ投稿、フォーラムのメッセージ、または記事を書いた人は、商用 AI 製品のトレーニングに自分の言葉が使用されることに同意しませんでした。
データ保持: AI チャットボットを使用すると、会話が保存され、将来のモデルを改善するために使用される可能性があります。データに何が起こるかを正確に理解することは、多くの場合困難です。
推論攻撃: モデルからトレーニング データを抽出できる場合があります。文字通り、モデルがそのトレーニング セットからテキストや情報を再現することになります。これは、トレーニング データに含まれる機密性の高いものに影響を及ぼします。
顔認識: 同意なしに生体認証データを収集および使用すると、プライバシーに関する重大な懸念が生じます。米国のいくつかの都市は、まさにこの理由から、政府による顔認識の使用を禁止しています。
個人向けのベスト プラクティス:
AI の安全性は偏見を超えています。これには、システムが現実世界に展開されたときに、信頼性が高く、予測どおりに動作し、害を及ぼすことなく動作するかどうかが含まれます。
幻覚: 大規模な言語モデルは、自信に満ちた、適切にフォーマットされた完全に誤った情報を生成することがあります。捏造された事件引用を含む AI が生成した準備書面を米国の裁判所に提出した弁護士は、2023 年に制裁を受けた。モデルはそれがでっちあげであることを認識していなかった。もっともらしい文章を生成していたのだ。
敵対的な例: 画像に対する小さな知覚できない変更により、深層学習分類器が画像を大幅に誤認識する可能性があります。ステッカーが慎重に貼られた一時停止標識は、速度制限標識として誤って分類される可能性があります。自動運転車では、これは実際の安全性に影響を及ぼします。
分布の変化: 世界が変化すると、過去のデータに基づいてトレーニングされたモデルが失敗する可能性があります。多くの不正検出モデルは、購買行動が劇的に変化し、モデルがその変化に合わせて設計されていなかったため、新型コロナウイルス感染症 (COVID-19) の期間中に失敗しました。
連鎖的な障害: 自動金融取引システムや物流システムなど、AI システムが相互接続されている場合、1 つのシステムで障害が発生すると、他のシステムでも予期しない障害が発生する可能性があります。
責任ある AI は、悪い結果を回避することだけを目的とするものではありません。それは、公の場で安心して擁護できるシステムを構築することです。
AI を構築している組織の場合:
AI を使用している個人向け:
AIは中立ではありません。これは、どのデータを使用するか、どのような目的に合わせて最適化するか、設計プロセスに誰を関与させるか、不確実性にどのように対処するかなどの選択肢をエンコードします。これらの選択は、意識的か否かにかかわらず、価値観を反映しています。
AI システムが医療、教育、司法、雇用、信用など、より重大な決定を下すにつれて、これを正しく行うためのリスクはかつてないほど高まっています。不適切なアルゴリズムが大規模に導入されると、問題が特定される前に何百万人もの人々に損害を与える可能性があります。
良いニュース: 責任ある AI は解決可能な問題です。完璧ではなく、一度にすべてではありませんが、適切な実践、適切なチーム、適切なフレームワークがあれば、真に信頼できる AI システムを構築できます。
その作業には、AI の技術的側面と人間的側面の両方を理解している人材が必要です。 AI システムを構築し、それについて難しい質問をできる人材が必要です。
AI Educademy では、責任ある AI は別個のモジュールではなく、私たちが教えるすべてのことに組み込まれています。私たちは、AI の倫理と安全性を理解することは、モデルのトレーニング方法を理解することと同じくらい基本であると信じています。
AI を学習している場合、またはすでにこの分野で働いている場合、これらの問題を理解することで、より優れたエンジニア、より信頼できる研究者、そして誇りに思えるテクノロジーを構築できる人材になれます。
👉 aieducademy.org] で AI 倫理と責任ある AI リソースを確認し、すべての人にとって機能する AI の構築にご協力ください。