英国で最近設立されたAI安全機関であるUK Safety Instituteは、産業界、研究機関、学界がAI評価を開発しやすくすることで「AIの安全性を強化する」ことを目的としたツールセットをリリースした。
「Inspect」と呼ばれるこのツールセットは、オープンソースライセンス、具体的にはMITライセンスの下で利用可能であり、モデルのコア知識や推論能力など、AIモデルの特定の機能を評価し、その結果に基づいてスコアを生成することを目的としています。
安全研究所は金曜日にこのニュースを発表するプレスリリースで、Inspectは「国が後援する機関が先頭に立って開発したAI安全性テストプラットフォームが、より幅広い利用のためにリリースされた初めての事例」であると主張した。
「AIの安全性テストにおけるコラボレーションが成功するには、評価に対する共通のアクセス可能なアプローチが必要です。Inspectがその基礎となることを期待しています」と、Safety Instituteの会長であるイアン・ホガース氏は声明で述べた。「世界中のAIコミュニティがInspectを使用して、独自のモデル安全性テストを実行するだけでなく、オープンソースプラットフォームを適応および構築して、全体的に高品質の評価を作成できるようになることを期待しています。」
以前にも書いたように、AI ベンチマークは困難です。今日の最も洗練された AI モデルはブラック ボックスであり、そのインフラストラクチャ、トレーニング データ、その他の重要な詳細は、モデルを作成した企業によって秘密にされているため、特に困難です。では、Inspect はどのようにしてこの課題に取り組んでいるのでしょうか。主に、新しいテスト手法に拡張可能で拡張可能であることです。
Inspect は、データ セット、ソルバー、スコアラーの 3 つの基本コンポーネントで構成されています。データ セットは評価テストのサンプルを提供します。ソルバーはテストを実行する作業を行います。スコアラーはソルバーの作業を評価し、テストのスコアをメトリックに集計します。
Inspect の組み込みコンポーネントは、Python で記述されたサードパーティ パッケージによって拡張できます。
Mozilla の研究員であり、著名な AI 倫理学者である Deborah Raj 氏は、X の投稿で、Inspect を「AI の説明責任のためのオープンソース ツールへの公的投資の力を証明するもの」と呼んだ。
Wow, – very interesting new performance analysis tool from UK AISI! https://t.co/0HlhsMvgAJ
— Deb Raji (@rajiinio) May 10, 2024
AI スタートアップ企業 Hugging Face の CEO である Clément Delangue 氏は、Inspect を Hugging Face のモデル ライブラリと統合するか、ツールセットの評価結果を掲載した公開リーダーボードを作成するというアイデアを提案しました。
This is very cool, thanks for sharing openly! Wonder if there’s a way to integrate with https://t.co/XZn1kgwGFM to evaluate the million models there or to create a public leaderboard with results of the evals (ex: https://t.co/ZkSmieEPbs) cc @IreneSolaiman @clefourrier
— clem 🤗 (@ClementDelangue) May 10, 2024
Inspect の発表は、米国の政府機関である国立標準技術研究所 (NIST) が、テキストや画像を生成する AI を含むさまざまな生成 AI 技術を評価するプログラムである NIST GenAI を開始した後に行われた。NIST GenAI は、ベンチマークを発表し、コンテンツの真正性を検出するシステムの作成を支援し、AI が生成した偽情報や誤解を招く情報を見分けるソフトウェアの開発を促進することを計画している。
4月、米国と英国は、昨年11月に英国のブレッチリー・パークで開催されたAI安全サミットで発表された公約に従い、高度なAIモデルのテストを共同で開発するための提携を発表した。協力の一環として、米国は独自のAI安全研究所を設立する予定であり、同研究所はAIと生成AIのリスク評価を幅広く担当することになる。
早朝、人気のビーチを歩いていた人が、この悲惨な出来事を発見した。
元大統領は末息子に関する重要な事実を誤って伝えた。
ロシアのサンクトペテルブルクで5月10日金曜日、バスが橋からモイカ川に転落した。地元警察によると、バスには約20人が乗っていた。地元メディアは、少なくとも5人が死亡し、4人が「重傷」を負ったと報じた。これらの数字は公式には確認されていない。同市のアレクサンダー・ベグロフ知事は、さまざまな部署の緊急サービスが現場にいたと述べた。地元警察は、バスが川に転落した状況はまだ調査中であると述べた。この防犯カメラの映像には、バスが建物の側面を走行し、車に衝突するように方向転換し、川に転落する様子が映っている。クレジット：ロシア内務省、Storyful経由
ニューヨーク・タイムズの記者はまた、「負けそうな」トランプ陣営の戦術も強調した。
エドゥアルド・ムニョス・アルバレス/AFP via Getty ドナルド・トランプ陣営に対する性差別訴訟は、トランプ陣営の弁護士が連邦法に違反して女性への和解金支払いを故意に隠蔽したという新たな告発を引き起こした。金曜日、ワシントンの責任と倫理を求める市民団体（CREW）は連邦選挙委員会に苦情を申し立て、隠蔽疑惑の調査を要求した。苦情には、2016年のトランプ陣営補佐官AJからの新たな申し立てが引用されている。
買い物客は積極的にスーパーマーケットの価格を比較していますが、その比較は公平でしょうか?
人々が誤って緑色のゴミ箱に捨てたおぞましい品物についての衝撃的な発見もありました。詳しくはこちらをご覧ください。
コロナ以前のカップルを思い出してみましょう。
キエフは、現在ロシアと同数の深海攻撃ドローンを生産していると述べている。
マデレーン・ウェスターハウトは口止め料裁判でトランプとマイケル・コーエンとの面会をセッティングしたかどうかについて尋問された。
カンタス航空の乗客の一人が同航空会社のラウンジを訪れた際、食べられる食べ物は「ほとんど」なかった。
元大統領ドナルド・J・トランプの口止め料裁判で証言したアダルト・パフォーマーのストーミー・ダニエルズの言葉に法廷は注目したが、第45代大統領との法廷闘争で彼女を脚光を浴びさせた、生意気で歯に衣着せぬ弁護士の不在は目立った。マイケル・アベナッティにとって最高の瞬間だったかもしれないが、彼は刑務所からこの出来事を見つめ、関連性を掴もうとしている。シーラ・フリンが報告する。
この措置は「危険」で「非常に悪い」と非難されており、多くのオーストラリア人が一つの大きな問題を指摘している。
ラビットーズのコーチがスター選手についての洞察を語った。
警察は、男性を刺した疑いで46歳のFIFO職員を殺人罪で起訴した。
「レイトショー」の司会者は、ファンから金を得ようとする元大統領の最新の奇妙な試みを嘲笑した。
メルボルンに住む父親は仕事から追い出され、住宅ローンの支払いに苦労していたところ、運命のいたずらに遭遇した。何が起こったのか、ここで読んでみよう。
独占：ファーマー・トッドが、番組の最後にプロポーズする予定だという噂について沈黙を破った。続きを読む。
気温の上昇により、この国は近代史上初めて氷河をすべて失った国となった。
トランプ前大統領は金曜日、口止め料裁判を担当する判事が、主役の証人であるマイケル・コーエンに対し、証言が近づくにつれ、この事件について公に話すのをやめるよう検察に伝えるよう指示したことについて、「冗談」であり「恥ずべきこと」だと不満を述べた。「マイケル・コーエンに対する口止め命令はない。判事がしたことは、実のところ驚くべきことだ。誰もが…
元記事: https://au.finance.yahoo.com/news/u-k-agency-releases-tools-201237845.html