Concept Fable
先に結論：攻撃者は、モデル出力、確率スコア、類似度、信頼度、または複数回のクエリを観察することで、訓練データ中の敏感な特徴を逆推し、さらには元データの一部を再構築する。
Model Inversion Attack · Privacy
まず物語を読む。ここでは急いで定義を示さず、まず問題そのものを立ち上がらせる。
寓話
薬舗は薬丸の各種病症への効能を公表したが、患者の薬方を明かさないと約束した。外郷の郎中は処方を問わず、極めて珍しい病症を繰り返し変えて尋ね、効能表の微小な変化を細かく記録した。
当初、店主は公開しているのは集計数字であり、誰も傷つけないと思っていた。しかし珍しい病症が現れたとき、郎中はいくつかの回答をつなぎ合わせ、あの患者がかつて使った薬材を推測してしまった。
店主は直ちに細かすぎるグループ別報告を停止し、サンプルが少なすぎる結果を統合し、異常に頻繁な問い合わせを制限した。敏感な病状に関する照会は審査を経る必要があり、一見普通の質問の連なりで個人像を組み立てることを防いだ。
薬舗は依然として有用な効能情報を公表するが、もはやあらゆる細部を無害とは見なさない。モデルやシステムの出力だけを見ても、誰かが痕跡を辿って入力中の秘密を逆算する可能性がある。
概念の落としどころ
攻撃者は、モデル出力、確率スコア、類似度、信頼度、または複数回のクエリを観察することで、訓練データ中の敏感な特徴を逆推し、さらには元データの一部を再構築する。
これは、モデル出力が細かすぎる、訓練データに希少または機微なサンプルが含まれる、照会インターフェースに制限がない、といった場合によく起こる。防御方法には、出力粒度の制限、アクセス制御、差分プライバシー、異常な照会の監査、記憶され得る機微な訓練データの削減が含まれる。
物語の対応
Andy（任旭）判断
モデルインターフェースは読み取り専用なら安全とは限らない。Agent が外部に照会、スコアリング、検索を提供するときも、出力の形状を通じて顧客データが漏れる可能性がある。