企業が AI を生産現場に責任を持って統合する方法をご覧ください。サンフランシスコで開催されるこの招待者限定のイベントでは、テクノロジーとビジネスの交差点を探ります。参加方法については、こちらをご覧ください。
生成型 AI の時代では、大規模言語モデル (LLM) の安全性は、さまざまなタスクでのパフォーマンスと同じくらい重要です。多くのチームがすでにこれを認識しており、ユーザー エクスペリエンスの破損、機会損失、さらには規制上の罰金につながる可能性のある問題を予測して修正するために、テストと評価の取り組みの水準を高めています。
しかし、オープン ソースとクローズド ソースの両方のドメインでモデルが急速に進化している場合、まずどの LLM が最も安全かをどうやって判断すればよいのでしょうか。Enkrypt にはその答えがあります。LLM 安全性リーダーボードです。生成 AI を安全に使用するための制御レイヤーを提供することで知られるボストンを拠点とするスタートアップは、さまざまな安全性と信頼性のリスクに対する脆弱性に基づいて、LLM を最高から最低までランク付けしました。
リーダーボードには、GPT や Claude ファミリーなど、パフォーマンスが最も優れた言語モデルが数十個掲載されています。さらに重要なのは、安全で信頼性の高い LLM を選択し、それらを最大限に活用するための対策を講じる上で重要となる可能性のあるリスク要因に関する興味深い洞察が提供されることです。
企業がアプリケーション（チャットボットなど）で大規模な言語モデルを使用する場合、脱獄や偏った出力などの安全上のリスクをチェックするために、内部テストを継続的に実行します。このアプローチでは、Google の Gemini チャットボットで発生したように、小さなエラーでも個人情報が漏洩したり、偏った出力が返されたりする可能性があります。フィンテックやヘルスケアなどの規制産業では、影響はさらに大きくなる可能性があります。
AIインパクトツアー – サンフランシスコ
VB の AI Impact Tour の次の目的地であるサンフランシスコで、AI を責任を持ってビジネスに統合する複雑さを一緒に乗り越えましょう。業界の専門家から洞察を得たり、志を同じくするイノベーターとネットワークを築いたり、顧客体験とビジネス プロセスを最適化する GenAI の未来を探ったりするチャンスをお見逃しなく。
2023 年に設立された Enkrypt は、ジェネレーション AI アプリの脆弱性を特定し、それらをブロックするための自動ガードレールを展開する包括的なソリューションである Sentry を使用して、企業のこの問題の解決に取り組んできました。現在、この取り組みの次のステップとして、同社はレッド チーム サービスを拡張し、チームが最初から最も安全なモデルから始めるのに役立つ洞察を提供する LLM Safety Leaderboard を導入しています。
このサービスは、多様なシナリオとデータセットにわたる厳格なテストを経て開発され、最大 36 のオープンソースおよびクローズドソースの LLM に対して包括的なリスク スコアを提供します。このサービスでは、有害、偏向的、または不適切なコンテンツの生成を回避するモデルの能力や、マルウェアをブロックしたりインジェクション攻撃を誘発する可能性など、複数の安全性とセキュリティの指標が考慮されます。
5 月 8 日現在、Enkrypt のリーダーボードでは、OpenAI の GPT-4-Turbo が 15.23 という最低リスク スコアで優勝しています。このモデルは脱獄攻撃を非常に効果的に防御し、有害な出力をわずか 0.86% しか提供していません。ただし、バイアスとマルウェアの問題は、38.27% と 21.78% の確率でモデルに影響を与えました。
リストで次に優れているのは、リスク スコアが 23.09 から 35.69 の範囲にある Meta の Llama2 および Llama 3 ファミリーのモデルです。Anthropic の Claude 3 Haiku も、リスク スコアが 34.83 でリーダーボードの 10 位につけています。Enkrypt によると、バイアスを除くすべてのテストでまずまずの成績を収めており、バイアスでは 90% 以上の確率で不公平な回答を出しました。
注目すべきは、リーダーボードの最下位に位置づけられているのは、Saul Instruct-V1 と Microsoft が最近発表した Phi3-Mini-4K モデルで、リスク スコアはそれぞれ 60.44 と 54.16 であることです。Mixtral 8X22B と Snowflake Arctic も、リスト内では 28 と 27 と低い順位です。
ただし、既存のモデルが改良され、新しいモデルが登場するにつれて、このリストは変更されることに注意してください。Enkrypt は、変更を表示するためにリーダーボードを定期的に更新する予定です。
「ほとんどの新モデルがリリースされるたびに、ゼロデイにリーダーボードを更新しています。モデルの更新については、リーダーボードは毎週更新されます。AIの安全性研究が進化し、新しい技術が開発されるにつれて、リーダーボードは最新の研究結果と技術を反映するために定期的に更新されます。これにより、リーダーボードが関連性と信頼性のあるリソースであり続けることが保証されます」と、Enkryptの共同創設者であるSahi Agarwal氏はVentureBeatに語った。
最終的には、この進化するリストによって、企業チームが、バイアスの回避やプロンプト インジェクションのブロックなど、各人気 LLM の長所と短所を詳しく調べ、それを基に、対象となるユース ケースに最適なものを決定できるようになることを Agarwal 氏は期待しています。
「リーダーボードを AI 戦略に統合することで、技術力が向上するだけでなく、倫理基準も維持され、競争上の優位性が得られ、信頼が構築されます。企業内のリスク/安全性/ガバナンス チームは、リーダーボードを使用して、製品チームとエンジニアリング チームが安全に使用できるモデルをプロビジョニングします。現在、安全性の観点からこのレベルの情報は提供されておらず、公開されているパフォーマンス ベンチマークの数値のみがあります。リーダーボードとレッド チームの評価レポートは、モデルを展開する際の安全性に関する推奨事項をガイドします」と、同氏は付け加えました。
VB Daily 最新情報を入手しましょう! 最新ニュースを毎日メールでお届けします。購読 購読すると、VentureBeat の利用規約に同意したことになります。購読ありがとうございます。その他の VB ニュースレターは、こちらでご覧ください。エラーが発生しました。
最新情報を入手しましょう! 毎日最新ニュースをメールでお届けします
購読することにより、VentureBeat の利用規約に同意したことになります。
ご購読ありがとうございます。その他の VB ニュースレターはこちらをご覧ください。
5 月 8 日にサンフランシスコで開催される招待者限定のイベントに GenAI のリーダーが参加し、生産における生成 AI の実用的応用による未来を形作る最新の進歩に焦点を当てます。