• 2021年4月から9月までの間に、インディアナ大学ブルーミントンの学者たちは、地下市場で212の悪意のある大規模言語モデル(LLMs)を特定した。
  • 1つの脅威アクター、WormGPTの背後にいる人物の収益は2か月で28,000ドルであり、これは悪質なエージェントたちが人工知能のガードレールを破る魅力と、それを推進する需要の高さを示している。
  • いくつかの違法なLLMsは、オープンソース標準に基づいて構築された非検閲のものであり、その中には商用モデルをジェイルブレイクしたものもあった。
  • Microsoftは最近、ハッカーたちが「スケルトンキー」を使用して、OpenAI、Meta、Google、AnthropicのLLMsに違法なリクエストを送り、有害な情報を明らかにさせたことを詳細に説明した。
  • インディアナ大学の研究者は、悪意のあるLLMsのデータセットを他の研究者に提供し、マルウェアを作成するためのプロンプトや公共LLM APIの安全機能をバイパスするために使用されたデータセットを公開した。

自然言語処理技術の進歩は素晴らしいものですが、悪意ある利用が増えていることは懸念すべきです。安全対策の強化と、違法なLLMsの使用を防ぐための取り組みがさらに必要であると感じます。

元記事: https://www.bankinfosecurity.com/underground-demand-for-malicious-llms-robust-a-26223