AIによる犯罪地下世界が明るみに

AI（人工知能）の急速な発展に伴い、AIを活用したサイバー犯罪が新たな地下市場として台頭しつつあります。AIサービスがブラックマーケットでどのように活用され、LLM（大規模言語モデル）がマルウェアの生成やフィッシングメール、フィッシングサイトの作成に利用されているかについて、詳細な調査が行われました。ここでは、AIがサイバー空間でどのように悪用されているかについての主な発見を紹介します。

不正なAIサービス

これらのサービス提供者は、主に2種類のLLMに依存しています。1つは検閲されていないLLM（人間の倫理に基づく調整が行われていない、または入力/出力フィルターが欠如しているモデル）、もう1つは公に利用可能なモデルを「脱獄」技術を用いて保護機能を回避させたものです。これらのサービスは、ハッカーのマーケットやフォーラムで伝統的なマルウェアよりも低価格で販売されている一方、悪意のある出力を生むために調整されたモデルを使用したサービスはプレミア価格で取引されています。特に、あるサービスは2か月で28,000ドル以上の収益を上げていることが確認されました。

市場の拡大

研究者は、212種類の不正サービスを特定しました。そのうち、125はPoe AIプラットフォームに、73はFlowGPTに、そして14は個別のサーバー上にホストされていました。また、11のLLM（Claude-2-100k、GPT-4、Pygmalion-13Bなど）が使用されていることも確認されました。

出力の品質評価

200以上のサービスに対して30以上のプロンプトを用いて、マルウェア、フィッシングメール、フィッシングサイトの生成を試みました。その結果は以下の基準で評価されました：

• フォーマット：期待される形式（正規表現で定義されたもの）に従って出力される頻度。
• コンパイル可能性：生成されたPython、C、C++コードがコンパイル可能である頻度。
• 有効性：生成されたHTMLとCSSがChromeおよびFirefoxで正しく実行される頻度。
• 読みやすさ：生成されたフィッシングメールが、Gunning Fog Index（読みやすさの難易度を測る指標）に基づいて、どの程度流暢かつ一貫しているか。
• 回避能力：生成されたテキストが、上記のチェックをすべてクリアしつつ、VirusTotal（マルウェアやフィッシングサイトに対する検出サービス）やOOPSpam（フィッシングメール検出ツール）を回避できる頻度。

3つのタスクすべてで、少なくとも1つのサービスは回避率67％以上を達成しましたが、大多数のサービスは30％未満に留まりました。

実際の効果検証

さらに、研究者は生成されたコードを用いて実際のシナリオでの効果をテストしました。具体的には、バッファオーバーフローやSQLインジェクションに関する3つの脆弱性を対象としたコードを生成しましたが、その成功率は低かったです。

VICIdial（コールセンターシステム）の脆弱性に対するコード生成では、22個のプログラムがコンパイルに成功しましたが、いずれもデータベースの変更やシステムデータの漏洩はありませんでした。また、OWASP WebGoat 7.1（既知のセキュリティ欠陥を持つコードを提供するサイト）に対するコード生成では、39個のプログラム中7個が攻撃に成功しましたが、要求された脆弱性に対しては成功しませんでした。

重要性

以前の研究では、LLMベースのサービスが誤情報や悪意のある出力を生成できることが示されていましたが、サイバー犯罪における実際の使用を詳細に調査したものは少なかったです。この研究は、サービスの品質と効果を評価する点で画期的です。また、今後のモデルでこうした問題を修正するためのリソースとして、ガードレールを回避し、悪意のある出力を生成するプロンプトも公開されました。

我々の見解

実際のテストでは不正サービスが大きな成果を上げなかったことは安心材料ですが、AIを利用したサイバー犯罪に関する過度な懸念は抑えられるべきです。とはいえ、AI技術の悪用を防ぐためにはさらなる警戒が必要です。AIコミュニティには、安全かつ有益な製品を設計し、その安全性を徹底的に評価する責任があります。