アメリカ国立標準技術研究所 (NIST) は、AI の安全性に対するより標準化された国家的アプローチを確立する方向に動いています。この政府機関は、「生成 AI 技術の研究を支援する評価プログラム」と称される NIST GenAI の立ち上げを発表しました。
この発表は、バイデン政権が、消費者データのプライバシーとセキュリティを保護する AI テクノロジーに関するガードレールを LLM メーカーに実装することを要求する大統領令に署名してから 6 か月後に行われた。たとえば、この命令では、「AI システムが安全で、セキュリティが確保され、信頼できることを保証するための標準、ツール、テスト」の開発と、「AI 生成コンテンツを検出し、公式コンテンツを認証するための標準とベスト プラクティス」の開発が義務付けられている。
NIST GenAI プログラムは、これらの義務に対処するための同省の取り組みの一環です。
Aria と呼ばれる NIST の関連プログラムが間もなく開始される予定です。Aria の目標は、「安全で信頼できる AI のための測定科学を進歩させること」です。
NISTが所属する米国商務省は月曜日のプレスリリースで、GenAIプログラムを「生成AI技術を評価および測定する」プラットフォームと説明した。
「NIST GenAIプログラムは、生成AI技術の能力と限界を評価・測定するために設計された一連のチャレンジ問題を発行します」と同機関は述べた。「これらの評価は、情報の完全性を促進し、デジタルコンテンツの安全で責任ある使用を導くための戦略を特定するために使用されます。」
最初のチャレンジは、テキストからテキストへの (T2T) AI モデルの有効性を評価することを目的としています。これは、人間のようなテキストを生成するモデル (「ジェネレーター」) と、AI が生成したテキストを検出するモデル (「ディスクリミネーター」) です。チャレンジの結果は、AI システムを使用して作成されたコンテンツの出所を伝える方法について、NIST が LLM メーカーに最終的に推奨する内容の指針となります。NIST は概要ページで、チャレンジについて次のように説明しています。
NIST GenAI T2T は、生成 AI テキストツーテキスト モダリティの研究をサポートする評価シリーズです。どの生成 AI モデルが、人間だけでなく最高の識別器も欺くことができる合成コンテンツを生成できるでしょうか。生成 AI モデルのパフォーマンスは、(a) 人間と (b) 識別 AI モデルによって測定できます。「最高の」生成 AI モデルを評価するには、最も有能な人間と識別器が必要です。最も有能な識別器とは、「最高の」生成 AI モデルを検出する際に最高の精度を持つものです。したがって、生成 AI モデル (生成器) と識別 AI モデル (識別器) の両方を評価することが重要です。
このチャレンジは、学者、研究者、LLM 作成者を対象としており、興味のある方は参加ガイドラインをこちらで読むことができます。テキストから画像へのモデルを評価する同様のチャレンジもまもなく開始される予定です。
GenAI プログラムの立ち上げに加え、NIST は今週、AI の安全な開発と実装に関する 4 つの論文の予備バージョンを公開しました。「初期草稿」と称されるこれらの論文の内容は次のとおりです。
各草案は、一般からの意見に基づいて変更される可能性があります。NIST は、6 月 2 日まで各出版物に対するフィードバックを受け付けており、最終版は「今年後半」に公開される予定です。
Gladys Rama (@GladysRama3) は Converge360 の編集ディレクターです。
情報の拡散は教育におけるイノベーションを遅らせる恐れがありますが、IT ドキュメントのツールとアプローチを改善することで、IT 部門は運用を最適化し、教育機関の主要目標をより適切にサポートするための新しい方法に集中できるようになります。今すぐダウンロードして詳細をご確認ください。続きを読む…
元記事: https://thejournal.com/Articles/2024/05/06/NIST-Launches-Generative-AI-Testing-Program.aspx