ジョージア工科大学の研究者による新しいツールのおかげで、アプリケーション開発者はプロトタイプの潜在的な有害な属性を確認できるようになりました。
Farsight は、大規模言語モデル (LLM) を使用して人工知能 (AI) を搭載したアプリケーションを作成する開発者向けに設計されたツールです。Farsight は、プロトタイパーが有害で誤用される可能性のある LLM プロンプトを作成すると警告します。
下流のユーザーは、Farsight の支援を受けて製造される、より高品質で安全な製品の恩恵を受けることができます。しかし、このツールの永続的な影響は、開発者に LLM の適切な使用方法を指導することで、責任ある AI の認識を育むことです。
機械学習の博士課程の候補者である Zijie (Jay) Wang 氏は、Farsight の主任設計者です。彼は、近々開催されるコンピューティング システムにおける人間工学に関する会議 (CHI 2024) で論文を発表する予定です。Farsight は、CHI 2024 に採択された論文の上位 5% にランクされ、会議の最優秀論文賞の佳作に選ばれました。
「法学修士号は、作家、医師、教育者など、多様なバックグラウンドを持つ何百万人もの人々に、指導を通じて強力な AI アプリの構築とプロトタイプ作成の権限を与えてきました。しかし、これらの AI プロトタイパーの多くは、責任ある AI 実践はおろか、コンピューター サイエンスのトレーニングも受けていません」とワン氏は言います。
「LLM に関連する AI インシデントが増加しているため、開発者に AI アプリケーションに関連する潜在的な危害を認識させることが重要です。」
ワン氏は、2人の弁護士がChatGPTを使用して弁論要旨を書いた例を挙げた。提出された要旨には法学修士が捏造した6件の架空の判例引用が含まれていたため、米国の裁判官は弁護士らに制裁を科した。
Farsight を通じて、同グループは開発者の責任ある AI の使用に対する意識を高めることを目指しています。この目標は、初期のプロトタイプ段階で、潜在的な使用事例、影響を受ける利害関係者、アプリケーションに関連する可能性のある危害を強調することで達成されます。
42 人のプロトタイパーが参加したユーザー調査では、開発者が Farsight を使用した後、プロンプトに関連する潜在的な害をより適切に特定できることが示されました。また、ユーザーはこのツールが既存のリソースよりも便利で使いやすいと感じました。
調査からのフィードバックによると、Farsight は開発者にエンドユーザーに焦点を当て、直接的な有害な結果を超えて考えるよう奨励していることがわかりました。
「ワークショップやオンラインビデオなどのリソースはAIプロトタイパーを支援するために存在しますが、それらは面倒なものと見なされることが多く、ほとんどの人にはそれらを使用する動機と時間が不足しています」とワン氏は語った。
「私たちのアプローチは、AI プロトタイパーがプロンプトを書くのと同じスペースに、責任ある AI リソースを統合して表示するというものでした。さらに、AI を活用して、関連する実際の事件を強調し、プロンプトに基づいてユーザーを潜在的な危害に誘導します。」
Farsight は、プロトタイプ作成中にアプリケーションの潜在的な悪影響を開発者に示すために、インサイチュ ユーザー インターフェイスを採用しています。
「中立」、「注意」、「警告」のアラート シンボルは、プロンプトにさらに注意が必要な場合にユーザーに通知します。ユーザーがアラート シンボルをクリックすると、画面の片側から注意喚起サイドバーが展開されます。
サイドバーには、有害なプロンプトに関連するインシデントの実際のニュースの見出しを含むインシデント パネルが表示されます。サイドバーには、さまざまなコンテキストでさまざまなグループの人々がアプリケーションをどのように使用できるかを開発者が想像するのに役立つユースケース パネルもあります。
もう 1 つの重要な機能は、危害予測機能です。この機能は、ユーザーのプロンプトを入力として受け取り、潜在的な危害の結果を予測するのを支援します。プロンプトは、ユースケース、利害関係者、および「社会的危害」、「配分的危害」、「対人的危害」などの危害を一覧表示する対話型ノード ツリーに分岐します。
斬新なデザインとユーザー調査からの洞察に満ちた発見により、Farsight は CHI 2024 でのプレゼンテーションに採用されました。
CHI は、人間とコンピュータのインタラクションに関する最も権威のある会議であり、コンピュータ サイエンス分野でトップクラスの会議の 1 つとされています。
CHI は、Association for Computing Machinery に加盟しています。会議は 5 月 11 日から 16 日までホノルルで開催されます。
王氏は、2023 年夏、Google + AI 研究グループ (PAIR) でインターンシップをしながら Farsight に取り組みました。
Google PAIR の Farsight の共著者には、Chinmay Kulkarni、Lauren Wilcox、Michael Terry、Michael Madaio などがいる。このグループは、Wang を通じてだけでなく、ジョージア工科大学とも密接な関係を持っている。
Google PAIR の現在の共同リーダーであるテリーは、2005 年にジョージア工科大学で人間とコンピュータの相互作用に関する博士号を取得しました。マダイオは、2015 年に同大学を卒業し、デジタル メディアの修士号を取得しました。ウィルコックスは、2013 年から 2021 年までインタラクティブ コンピューティング学部の専任教員を務め、現在は非常勤講師を務めています。
王氏は作家ではありませんが、指導教官のポロ・チャウ氏も王氏に影響を与えています。チャウ氏は計算科学工学部の准教授です。同氏のグループは、データサイエンス、人間中心の AI、社会貢献のための視覚化研究を専門としています。
「Farsight が興味深いのは、そのユニークなワークフローと人間と AI の共同アプローチだと思います」と Wang 氏は語ります。
「さらに、Farsight は LLM を活用してプロトタイパーの創造性を拡大し、幅広いユースケース、利害関係者、潜在的な危害についてブレインストーミングを行います。」
元記事: https://www.miragenews.com/new-tool-teaches-responsible-ai-practices-when-1233648/