- Chief Digital and Artificial Intelligence Office (CDAO)がLarge-Language Model (LLM)チャットボットの使用に焦点を当てたCrowdsourced AI Red-Teaming (CAIRT) Assurance Programのパイロットを成功裏に終了
- CAIRTプログラムは、国防総省（DoD）をサポートし、AI AssuranceとAI Risk Mitigationにおける民間からのアプローチを生成する
- Humane IntelligenceがDefense Health Agency（DHA）およびProgram Executive Office, Defense Healthcare Management Systems（PEO DHMS）と協力してCAIRT LLMパイロットを実施
- 200人以上の参加者が参加し、軍事医学の文書要約と医療アドバイザリーチャットボットの2つの将来の使用例において、3つの人気のLLMを比較
- この演習により、800以上の潜在的な脆弱性とバイアスの発見が明らかになり、将来のベンダーやツールの評価に使用されるベンチマークデータセットの開発が促進される
- CAIRT Assurance Programを通じた継続的なLLMおよびAIシステムのテストは、CDAOのAI Rapid Capabilities Cellの加速、GenAIミッションの効果の向上、およびDoDユースケース全体での正当な信頼の向上に不可欠である
この記事は、CDAOがAI技術を活用してDoDのデジタルインフラストラクチャーと政策の採用を促進し、エンタープライズおよび共同利用ケース向けのスケーラブルなAI駆動ソリューションを提供し、現在および新興の脅威に対して国を保護するために貢献していることがわかります。CAIRTプログラムを通じた継続的なテストは、将来の研究、開発、および保証に影響を与えるであろうGenAIシステムのためのパスファインダーとなり、DoDのユースケース全体で正当な信頼を築く上で重要であると考えられます。