Anthropicは、対話AI「Claude」の推論過程を示す情報（推論トークン）を大量に抜き取る試みへの防御を強化し、抽出された量を90〜99％減らしたと説明しました。推論情報へのアクセス制限に加え、抽出の兆候を見抜く分類器を稼働させ、該当アカウントを自動で停止する仕組みを導入したとしています。これまでに停止したアカウントは数万件に上るということです。
Claudeへの大量アクセスをどう防ぐのか
発端にある「蒸留」とは、強力なAIモデルの出力を教材にして、より小さな別のモデルを訓練する手法を指します。本来は自社モデルを軽量化する正当な技術ですが、他社のモデルに大量の質問を投げ、その答えを手がかりに能力を丸ごと写し取る使われ方もあります。Anthropicが問題視しているのは、後者のような組織的な抽出です。
同社の説明では、攻撃側は数十万規模の偽アカウントのネットワークを使っているといいます。1つひとつのアカウントは普通の利用者に見える程度に抑え、全体として膨大な量の応答を集める構図です。人海戦術ならぬ「アカウント海戦術」とでも呼びたくなる手口です。
狙われているのは、推論トークン、つまりモデルが答えに至るまでに踏む内部の思考ステップです。最終的な回答だけでなく、考え方の筋道まで手に入れば、別のモデルに「どう考えるか」を教え込めます。料理にたとえるなら、完成品の味を真似るだけでなく、レシピの手順書ごと持ち出されるようなものでしょう。
Anthropicが取った対策は大きく3つです。Claudeの内部の推論ステップへのアクセスを制限すること。抽出の試みを見つける分類器を動かすこと。そして、疑わしいと判定されたアカウントを自動で停止することです。
数字が示す対策の効果と、その限界
Anthropicは、防御の稼働後に抽出された推論トークンの量が90〜99％減ったとしています。蒸留の成功件数も、対策の開始後に大きく落ち込んだと説明しています。幅のある数字ですが、少なくとも1割以下まで抑え込んだという主張です。
もう1つ見逃せないのが、同社自身が認めている副作用です。正当な利用者も検知に巻き込まれてしまう場合があるといいます。不正を弾く網を細かくすれば、普通に使っている人や企業まで引っかかる。セキュリティ対策につきまとうこの宿命は、AIサービスでも例外ではありません。
大量に利用する開発者や、自動化ツールを組み込んだ業務システムは、挙動が抽出の兆候と似て見えることがあります。今後は、不正対策の強度と、通常利用を妨げない運用のバランスが、サービスの使い勝手を左右するでしょう。
企業名を挙げた指摘は何を意味するか
Anthropicは今回、中国企業のZhipu（智譜）とMoonshotを関与した側として名指ししました。同社の主張によれば、Zhipuは米国の主要モデルからサイバー関連の能力を引き出し、自社のGLM-5.3に役立てたとされています。Moonshotについては、Claudeへの問い合わせを密かに経由させていたと指摘しています。いずれもAnthropic側の主張であり、両社の見解は今回の資料では確認できていません。
Anthropicはさらに、こうして抜き取られた能力が外国の軍事システムや監視システムに流れ込む可能性にも触れています。単なる商売上の模倣にとどまらず、安全保障の問題として位置づけている点が目を引きます。
もう1つの動きとして、同社は他のAI開発企業にも同様の防御策の採用を呼びかけています。1社だけが門を固めても、別の入り口から抜かれてしまえば意味が薄れるためです。業界全体で足並みをそろえられるかが問われます。
生成AIの競争は、賢いモデルを作る勝負から、そのモデルを誰がどう使っているかを見極め、制御する勝負へと広がりつつあります。偽アカウントの検知やアクセス制限といった地味な守りの技術が、これからのAI企業の競争力を左右する場面が増えていきそうです。
コメント