次のメインナビゲーションは、Tab キーを使用して取得できます。サブナビゲーションを開くボタンは、スペースキーまたは Enter キーでトリガーできます。
最先端の AI モデルの作成者は、そのモデルが引き起こす損害に対して厳格に責任を負うべきです。
Lawfare Instituteの協力により出版
カリフォルニア州 SB-1047、最先端の人工知能モデルのための安全で安心なイノベーション法案は、2 月にスコット ワイナー上院議員によって提出され、4 月に司法委員会と政府組織委員会を通過しました。この法案は、高度な人工知能 (AI) システムのリスクから人類を守るための重要な第一歩です。ワイナー議員と共同提案者は、この重要かつ無視されてきた問題に取り組んだことで称賛に値します。しかし、この法案は、最先端の AI システムによってもたらされるリスクから公共の安全を守るという約束を、いくつかの重要な点で果たせていません。
これらの欠点はすべて、AI の安全性が技術的な問題として未解決のままであるという、1 つの中心的な事実に関連しています。最先端の AI 開発者に安全性の最先端を継続的に推進するよう促す最善の方法は、システムが危害をもたらすリスクを負わせることです。SB-1047 は、AI 開発者が法令で規定されている特定の予防措置を採用しなかった場合にのみ責任を負います。政策立案者は、これらの予防措置が公共の安全を十分に保護すると確信すべきではありません。
SB-1047 は、1026 浮動小数点演算 (FLOP) を超える計算でトレーニングされたモデルとして定義される最先端の AI システムに対する新しい規制枠組みを作成します。これは、バイデン政権の「人工知能の安全でセキュリティが高く、信頼できる開発と使用に関する大統領令」で使用されている計算しきい値と同じです。1026 FLOP でトレーニングされた AI システムはまだありませんが、次世代の最先端のモデルはこの数値を超えると予想されています。
しかし、連邦の大統領令とは異なり、カリフォルニア州の法案は、2024 年に 1026 FLOP でトレーニングされたモデルと同等のパフォーマンスを発揮することが合理的に期待できるほど十分なコンピューティングでトレーニングされたシステムも対象としています。この規定は、潜在的に非常に強力で危険なモデルを 1026 FLOP 未満でトレーニングできるようにするアルゴリズムの効率の潜在的な改善を考慮するための重要な措置です。
この法案では、対象となるシステムには 2 つのコンプライアンス経路がある。まず、開発者はシステムが「限定免税」の要件を満たしていることを証明できる。これは、特定の危険な機能を持つ、または開発する可能性がある「可能性を開発者が合理的に排除できる」システムに適用され、これらの危険な機能には、大量破壊兵器の作成または使用、サイバー攻撃、または少なくとも 5 億ドルの損害をもたらすその他の犯罪行為、または公共の安全に対する他の同等の深刻な脅威を大幅に促進することが含まれる。
最も潜在的に危険なシステムに規制の注意を向けるのは理にかなっています。このコンプライアンス経路に関して私が唯一懸念しているのは、開発者が、自分たちのシステムがこの免除に該当するという合理的だが誤った結論に誠意を持って依拠した場合、この法律に違反しているとはみなされないということです。このため、モデルに危険な機能がないとする AI ラボの結論の妥当性の評価に非常に重点が置かれます。特定の危険な機能が予見可能であったことが証明できない場合でも、システムによって引き起こされた損害に対して AI 開発者に責任を負わせる規制体制の方が、公共の安全のためにはより効果的です。これにより、システムがもたらすリスクを最もよく理解している AI ラボに、システムの安全性を確保する責任が移ります。2 番目のコンプライアンス経路についても同様の懸念があります。
限定関税免除の対象とならないモデルについては、開発者はさまざまな安全策を講じる必要があります。これらの安全策には、システムへの不正アクセスやシステムの変更を防ぐための「適切な」サイバーセキュリティ保護、「キルスイッチ」の組み込み、米国国立標準技術研究所 (NIST) が公布した自主基準と業界のベストプラクティスの実装、「対象モデルにおける危険な機能の行使による重大な損害」を防ぐという「合理的な保証」を提供する書面による安全性とセキュリティのプロトコルの実装、重大な損害を引き起こすために使用される不当なリスクをもたらすモデルのトレーニングを控えることなどが含まれます。
これらの安全策は価値がある。これを実施すれば、最先端のAIシステムがもたらすリスクは大幅に軽減されるだろう。ただし、いくらかのコストもかかる。特に、オープンソースのAI開発は、規制当局がその行為を「不適切」とみなすのではないかという懸念から、大幅に阻害される可能性がある。しかし、潜在的に危険な機能を持つモデルをオープンソース化することで生じるリスクを考えると、この予防措置は正当化される。最先端のAIシステムの開発者が、悪用されても甚大な被害をもたらす可能性がないと確信できない場合、開発者に適切なアクセス制限を課すことを義務付けるのは理にかなっている。また、米国が中国との競争の必要性を理由にAIへの大規模な公的投資を正当化する一方で、中国やその他のライバルに米国が開発した最も強力なAIシステムの一部へのオープンソースアクセスを与えるのも理にかなっていない。
実際、カリフォルニア州はさらに踏み込むことができ、踏み込むべきだと私は思います。最先端の AI システムが危害を引き起こした場合、その開発者は賠償金を支払うべきです。つまり、私が他の場所で長々と主張しているように、開発者は厳格に責任を負うべきです。事実、現時点では、信頼性の高い最先端の AI システムを構築する方法を知っている人は誰もいません。これまでのところ、GPT-4 レベルのシステムには SB-1047 が対象とするような危険な機能がないため、それは問題ありません。しかし、この法案が想定しているように、最先端の AI ラボはまもなく、壊滅的に危険な機能を備えたシステムのトレーニングと展開を開始する可能性があります。これらのラボは、システムが大惨事を引き起こしたり、壊滅的な危害が合理的に起こり得ることを示唆する方法でより限定的な危害を引き起こしたりした場合、その結果に直面する必要があります。そして、開発者が実施した安全計画が重大な危害を防ぐという「合理的な保証を提供」できなかったことをカリフォルニア州司法長官が証明できるかどうかに関係なく、その結果に直面する必要があります。安全性が極めて重要な決定に直面したとき、AI ラボは、カリフォルニア州司法長官が規制義務を満たしていないことを証明できないようにするために、どのチェックボックスをチェックする必要があるかだけでなく、システムを安全にするためにどのような手順を踏む必要があるかを自問してほしいと思います。
厳格責任に対する最も有力な反論は、それがイノベーションを阻害するというものだ。しかし、厳格責任がもたらすのは、AI 開発者に自らが引き起こした損害の代償を払わせることだけだ。最先端の AI システムが社会的コストよりも多くの社会的価値を生み出すと期待できるなら、その構築に投資することは利益になるはずだ。AI 開発者が引き起こした損害の責任を問わないことで、彼らは製品によって生じるリスクを外部化できる。このような政策は、純社会的価値をあまり生み出さないイノベーションを生み出す傾向がある。この観点から見ると、厳格責任は責任あるイノベーションを促進するために適切に調整された政策であると正しくみなされている。
SB-1047 が最先端の AI モデル開発者に課した規則は妥当なものです。この規則に従わないことは、法案に含まれる適切な罰則によって抑止されるべきです。しかし、AI ラボは、予測不可能な機能と制御不能な動作を備えたシステムを構築するという本質的に危険な性質から生じた損害に対して、少なくとも AI システムによって引き起こされた損害に対して厳格に責任を負う必要があります。厳格責任は、AI 開発者に対する不当な押し付けではありません。開発者が引き起こした損害と発生したリスクに対して支払いを要求するだけです。標準的な経済理論によれば、高度な AI システムによる壊滅的な損害のリスクなど、負の外部性を生み出す活動は過剰生産される傾向があります。厳格責任、つまり AI 開発者が法律で規定された、または以前の裁判で判事が特定した特定の予防措置を採用しなかったかどうかに依存しない責任は、AI 開発者に、発生したリスクを内在化することを強いるでしょう。そうして初めて、開発者はシステムを安全にするために必要な措置を講じる十分なインセンティブを持つことになります。
さらに、最先端の AI システムによって発生した損害に対する厳格責任は、異常に危険な活動に関する不法行為法の原則にしっかりと根ざしており、これは爆破や一部の花火大会、農薬散布、有害廃棄物処理などの高エネルギー活動に適用されます。不法行為法の再検討 (第 3 版) によると、厳格責任は、「(1) すべての行為者が合理的な注意を払ったとしても、その活動が予見可能で非常に重大な身体的危害のリスクを生み出す場合、および (2) その活動が一般的な使用方法ではない場合」に適用されます。1026 FLOP を超えるコンピューティングで AI モデルをトレーニングすることは、明らかに一般的な使用方法ではないでしょう。さらに、裁判所はソフトウェア開発のサブセットを異常に危険であると認めることに消極的かもしれませんが、5 億ドルを超える損害を引き起こす可能性があり、安全にする方法がわからない AI システムを構築しても、「すべての行為者が合理的な注意を払ったとしても、予見可能で非常に重大な身体的危害のリスク」が生み出されないと主張するのは難しいようです。
とはいえ、安全対策要件の違反が証明可能なケースに対処するため、この法律には妥当な執行規定が盛り込まれている。公共の安全に対する差し迫った脅威となる違反に対しては、この法案は、差し止め命令または差し止め命令の形で予防的抑制を求めている。実際の損害をもたらす違反に対しては、この法案は、補償的損害賠償だけでなく、懲罰的損害賠償および閉鎖命令も規定している。最後に、この法律は、最初の違反に対しては、システムのトレーニングにかかる非労働コストの 10 パーセントを上限とする民事罰を規定している。この上限は、その後の違反に対しては 30 パーセントにまで上がる。
司法委員会のマークアップで追加された懲罰的損害賠償の盛り込みは、まだ壊滅的な損害を引き起こしていないシステムに対して厳しい罰則を可能にすることで、開発者が従うインセンティブを大幅に強化します。AI ガバナンスの大きな課題は、最先端の AI システムが保険をかけられないリスクを生み出すことです。それらのシステムがもたらす損害は非常に大きく、被害者に全額補償する損害賠償金を支払おうとすると会社が破産し、あり得る保険金を超えてしまう可能性があります。したがって、損害賠償金の脅威は、AI 開発者にシステムを安全にするためのコスト (金銭的コストに加えて、導入の大幅な遅延も含まれる可能性があります) を支払うよう促すには不十分である可能性があります。
しかし、懲罰的損害賠償条項には、懲罰的損害賠償が認められる条件や、その損害の潜在的な規模に関する具体的な指針が欠けています。私は、懲罰的損害賠償の計算は、問題のシステムの訓練と展開によって生じる保険適用外のリスクの大きさに基づくべきであり、そのリスクは、被害を受けた当事者に補償するために必要な損害の何倍もの懲罰的損害賠償を正当化する可能性があることを明確にすることで、この条項を強化してほしいと思います。私は、この懲罰的損害賠償の定式化については、他の場所で長々と主張しています。
同様に、民事罰がシステムのトレーニング費用に結び付けられている理由も不明です。確かに、トレーニング費用は開発者の行動に影響を与えるために必要なインセンティブの規模を簡単に計算できる指標を提供しますが、影響はリスクに応じて調整する必要があります。トレーニング費用に罰則を連動させることは、不確実ではあるがより意味のあるリスクの指標よりも、正確ではあるが概念的に不適切なターゲットを選択することです。政策立案者が気にすべきなのは、システムが人々に危害を加えるリスク、特にシステムが壊滅的な危害を引き起こし、事後に法律で十分に責任を問えないリスクです。これらのリスクは、モデルのトレーニング費用とわずかにしか相関していない可能性があります。したがって、民事罰の規定も、罰則をシステムのトレーニング費用ではなく、システムによって発生するリスクの何らかの尺度に結び付けることによって改善できます。
最後に、この法案に私が加えたい条項は、危険なシステムの能力に応じて拡大する賠償責任保険の要件です。つまり、限定免税の資格がないシステムの開発者は、そのシステムが引き起こす可能性のある損害を補償する保険に加入することが義務付けられることになります。これには 2 つの有益な効果があります。
まず、判決不履行の被告の問題を軽減することで、補償的損害賠償が効果的な説明責任を提供できる損害の範囲が拡大する。賠償責任保険の要件がなければ、AI 開発者は、賠償責任判決によって破産に追い込まれるレベルを超えてリスクを軽減する動機がほとんどなくなる。確かに、実行可能な保険契約の規模には依然としてある程度の制限があるだろうが、保険適用を義務付けることで、少なくともこの制限まで補償的損害賠償の有効性を拡大することができる。次に、ニアミス事件の懲罰的損害賠償を使用して、保険対象リスクを内部化することができる。
第二に、賠償責任保険の義務付けにより、潜在的にリスクのあるトレーニングや導入の決定に慎重な意思決定者を関与させることで、公共の安全をさらに保護することができます。AI ラボの中には、壊滅的な被害のリスクを真剣に受け止めているところもありますが、こうしたリスクをまったく無視しているところもあります。賠償責任保険の義務付けにより、潜在的に危険な機能を備えたシステムを導入する前に、保険会社を説得して、州政府機関が設定した最低限の補償額を満たす保険に加入させるよう義務付けることで、こうした慎重さに欠ける開発者を抑制することができます。これにより、開発者はシステムを安全にする追加のインセンティブを得ることができ、社会的な利益よりも大きなリスクを生み出すシステムの導入を抑止することができます。
ワイナー上院議員とその同僚は、AI 開発者にシステムを安全にするための一連の極めて合理的な予防措置の採用を義務付ける法案を立案し、推進したことで称賛されるべきである。しかし、現状では、AI システムを安全にする方法を知っている人は誰もいない。NIST が公布した、または業界のベスト プラクティスとして認められているすべての標準を採用しても、安全性は確保されない。最先端の AI ガバナンス法案の主要目標は、新しい、より優れた安全対策を考案する責任を研究所自身に移すことで、安全性のフロンティアを押し進めることであるべきである。業界のベスト プラクティスに従わなかった、またはシステムが安全であるという「合理的な保証」を提供できなかったことが証明されないように十分な予防措置を講じることを要求するだけでは、これは実現しない。違反が疑われる時点で、誰もより良い安全戦略を考えていなかった場合、安全対策が合理的な保証を提供できなかったことを証明することは非常に困難である。上で強調したように、最先端の AI 開発者が安全性のフロンティアを継続的に押し進めるように促す最善の方法は、システムが危害をもたらすリスクを負わせることである。これは、これらのシステムの本質的に危険な性質から生じるすべての損害に対して厳格な責任を課すことを意味します。また、開発者に、それらのリスクに関連する予想される責任を前倒しすることを目指す懲罰的損害賠償と民事罰を通じて、システムによって発生する保険でカバーできないリスクを内部化することを強制することも意味します。
国家安全保障上の難しい選択