本ブログは、Announcing the Microsoft Machine Learning Membership Inference Competition (MICO)の抄訳版です。最新の情報は原文を参照してください。
機械学習 (ML) システムのセキュリティとプライバシーに焦点を当てた新しいコンペティションの開始を発表できることを嬉しく思います。機械学習はすでに多くの製品やサービスで重要なイネーブラーとなっており、この傾向は今後も続く可能性があります。したがって、最先端の ML アルゴリズムによって提供されるセキュリティとプライバシーの保証を理解することが重要です。 - これは 「Microsoft の Responsible AI Principles」 の 1 つです。
基本的に、ML モデルには学習できるデータが必要です。この学習データは、公開データと非公開データの両方を含むさまざまなソースから取得できます。多くのドメインでは、ML モデルは、特殊なデータまたはドメイン固有のデータで学習すると、パフォーマンスが向上します。このような特殊なデータは、多くの場合、モデルのユーザーが直接利用することはできません。(例えば、データ提供者のプライバシーやモデル所有者の知的財産を保護するため)。理想的には、ML モデルにアクセスできるからといって、モデルの学習に使用された個々のデータレコードが明らかにならないようにする必要があります。ただし、メンバーシップ推論に関する最近の研究では、必ずしもそうではないことが示されています。
メンバーシップ推論とは何ですか?
メンバーシップ推論は、ML モデルに対する脅威の広く研究されている分野です。モデルへのアクセス権がある場合、特定のデータ レコードがそのモデルの学習に使用されたかどうかを推測することが目的です。学習データの性質によっては、メンバーシップ推論攻撃が成功すると、深刻な悪影響が生じる可能性があります。例えば、文中の次の単語を予測するモデルは、会社からの電子メールとドキュメントの大規模なデータセットで学習できます。モデルがメンバーシップ推論に対して脆弱である場合、モデルのすべてのユーザーは候補文を推測し、モデルを使用して、これらがモデルの学習に使用されたかどうかをテストして、会社の電子メールまたはドキュメントに表示されたことを示すことができます。同様に、医用画像を分類するモデルは、特定の病院の患者からの実際の画像のデータセットで学習する場合があります。メンバーシップ推論攻撃が成功すると、モデルのユーザーは、特定の人物の画像が学習データセットに含まれているかどうかをテストできるため、その人がその病院の患者であることがわかります。
重要なのは、メンバーシップの推論自体が攻撃者の最終的な目標ではない場合があることです。例えば、攻撃者は実際に個々の学習データ レコードに関する機密性の高い属性を推測したり (属性推論)、学習データからレコードを再構築したり (再構成攻撃) することもできます。ただし、これらの攻撃では、攻撃者は 1 ビット (メンバーまたは非メンバー) を推論するだけでよいメンバーシップ推論よりも、学習データに関するより多くの情報を学習しようとしていることに注意してください。したがって、特定のモデルがメンバーシップ推論に強いことを示すことができれば、これはモデルがこれらの他のより壊滅的な攻撃に対しても強いことを示しています。
メンバーシップ推論はどのように機能しますか?
さまざまな複雑さの異なるタイプのメンバーシップ推論攻撃が科学文献で実証されています。例えば、単純なケースでは、モデルが学習データに過剰適合した可能性があるため、学習レコードに対するクエリの方が、モデルが学習中に見ていないレコードに対するクエリよりも、高い信頼度の予測値を出力することができます。これを認識すれば、攻撃者は関心のあるレコードを使用してモデルを照会し、モデルの信頼度にしきい値を設定し、しきい値を超える信頼度を持つ出力が学習データのメンバーである可能性が高いと推測できます。この設定では、攻撃者は特定の入力を使用してモデルを照会し、出力を観察する機能のみを必要とします。一方、攻撃者は、例えば、モデルがエッジデバイスに展開されているため、モデルの内部にアクセスすることができ、より高度な攻撃戦略を可能にする可能性があります。
MICO とは?
MICO は、メンバーシップ推論のための最先端の技術をまとめて比較することを目的とした公開コンペティションです。このコンペティションは、画像、テキスト、表形式データの分類モデルに対するメンバーシップ推論と、3 つのドメインにまたがる特別な差分プライバシー(DP) 識別カテゴリの 4 つのタスクで構成されています。各タスクについて、パブリックデータセットのさまざまな分割で 600 のニューラルネットワークモデルを学習しました。モデルごとに、同じデータセットから抽出された一連のチャレンジ ポイントを提供します。チャレンジポイントのちょうど半分はメンバーであり(つまり、モデルの学習に使用)、残りの半分は非メンバーです。参加者の目標は、これらのチャレンジポイントのどれがメンバーで、どれが非メンバーであるかを判断することです。参加者はすべてのモデルにフルアクセスできるため、各モデルに対して無制限の任意のクエリを実行し、モデルのパラメーターを検査できます。これは、可能な限り強力な攻撃者の能力を表しています。
すべてのモデルは広く使用されている公開データセットで学習されているため、個人データや個人データへのリスクはありません。このコンテストは、Microsoft のオープンソースおよび責任ある AI ガイドラインに従ってレビューしています。
どうすれば参加できますか?
GitHub のメインのMICO コンペティションページをご覧ください。そこから、4 つの異なるタスクへのリンクがあります。これらは CodaLab プラットフォームでホストしており、提出の処理とスコアの追跡に使用します。GitHub リポジトリには、各タスクの「スターティングキット」ノートブックも含まれており、コンペティション データをダウンロードし、基本的なメンバーシップ推論攻撃を実行し、CodaLab で結果を送信する方法を示します。
このコンテストを可能な限り多くの視聴者が利用できるように、各タスクは個別に採点されます。これは、スコアボードでのパフォーマンスに影響を与えることなく、好きなだけ多くのタスクに参加できることを意味します。
スコア、受賞者、賞
- コンテストは 2023 年 1 月 12 日 (地球上のどこの場所でも 23:59) まで開催します。
- 評価データの一部に基づくライブスコアボードがイベント中に表示されます。最終的なスコアは、データの別のサブセットで決定されます。
- 各タスクの優勝者には 2,000 米ドルの賞金が授与され、準優勝には 1,000 米ドルの賞が授与されます(同点のエントリーの場合、これらの賞は調整する場合があります)。これらの賞は MSRC が後援しています。
- このコンテストは、IEEE Conference on Secure and Trustworthy Machine Learning (SaTML) 2023と同じ場所にあります。受賞者は、このカンファレンスに招待され、戦略を発表する予定です。
このコンテストの目的は何ですか?
さまざまなメンバーシップ推論攻撃(および防御)を記述した科学文献は数多くありますが、これまでのところ、これらの手法を評価および比較するための共通のベンチマークはありません。このコンテストの目的の 1 つは、このベンチマークデータセットを提供することです。データセットは 2,400 個の学習済みモデルで構成されており、合計サイズは 400 GB を超え、推定学習時間は 600 GPU 時間であるため、これは簡単な作業ではありません。私たちは幸運にもそのようなデータセットを作成するためのリソースを持っているので、このコンペティションを超え研究コミュニティに利益をもたらすことを願っています。このコンペティション が終了したら、データセット全体をチャレンジポイントラベルと学習スクリプトとともに、誰でも使用できるようにリリースする予定です。
より一般的には、MICO などの公開コンペティションは、デジタルプライバシーのベストプラクティスや将来の基準を定義する上で重要な役割を果たしていると考えています。公開コンペティションはすでにさまざまな分野で確立されています。例えば、NIST のような組織は、暗号アルゴリズムの評価と標準化のためにコンペティションを利用しています。機械学習では、さまざまなタスクやデータセットで最先端のモデルのパフォーマンスを向上させるための公開コンペティションが盛んです。私たちは、信頼できる機械学習の科学を進歩させるためにコンペティションを利用することにも同様の価値があると考えています。攻撃を評価するための共通のベンチマークを持つことは、この目標に向けた最初のステップであり、2 つ目は、この分野の最先端のアプローチをまとめ、比較し、議論することです。このことから、私たちは MICO に参加することを歓迎し、奨励します!
MICO は、マイクロソフトの Ahmed Salem, Giovanni Cherubin, Santiago Zanella-Béguelin, Andrew Paverd、および インペリアル・カレッジ・ロンドンの Ana-Maria Cretu によって運営しています。