2025-01-23 に確認した最新投稿の一部です。
Article: 1
Title:
Rethinking Membership Inference Attacks Against Transfer Learning
Published:
2025-01-20
Authors:
Cong Wu, Jing Chen, Qianru Fang, Kun He, Ziming Zhao, Hao Ren, Guowen Xu, Yang Liu, Yang Xiang
Abstract:
転移学習は、関連タスク間での知識翻訳に成功していますが、メンバーシップ推論攻撃(MIA)による重大なプライバシーの脅威に直面しています。これらの攻撃は、ML モデルのトレーニング データに大きなリスクをもたらすにもかかわらず、転移学習では限定的に調査されています。転移学習における教師と生徒のモデル間の相互作用は、MIAでは十分に調査されておらず、転移学習におけるプライバシーの脆弱性の側面が十分に調査されていない可能性があります。この論文では、転移学習に対する新しいMIAベクトルを提案し、ホワイトボックス設定で生徒モデルにのみアクセスしながら、特定のデータポイントが教師モデルのトレーニングに使用されたかどうかを判断します。私たちの方法は、教師と生徒モデルの間の複雑な関係を掘り下げ、生徒モデルとその影のモデルとの間の隠れ層表現の不一致を分析します。これらの特定された違いを巧みに利用して、シャドウモデルのトレーニングプロセスを改良し、メンバーシップ推論の決定を効果的に通知します。私たちの方法は、さまざまな転移学習タスクの4つのデータセットで評価され、攻撃者が生徒モデルにしかアクセスできない場合でも、教師モデルのトレーニングデータはMIAの影響を受けやすいままであることが明らかになりました。私たちの研究は、転移学習におけるメンバーシップ推論の未踏のリスクを明らかにすると信じています。
Article: 2
Title:
Fairness Testing through Extreme Value Theory
Published:
2025-01-20
Authors:
Verya Monjezi, Ashutosh Trivedi, Vladik Kreinovich, Saeid Tizpaz-Niari
Abstract:
データ駆動型ソフトウェアは、自動化された意思決定支援システムの重要なコンポーネントとしてますます使用されています。このクラスのソフトウェアは、履歴データからロジックを学習するため、差別的な慣行をエンコードまたは増幅できます。アルゴリズムの公平性に関するこれまでの研究では、平均ケースの公平性の向上に焦点が当てられてきました。一方、極端な端での公平性は、多くの場合、社会的態度の永続的で影響力のある変化を意味しますが、あまり重視されていません。 極値理論(EVT)の統計を活用して、極限反事実差別(ECD)と呼ばれる新しい公平性基準を提案する。この基準は、保護されたグループのメンバーシップのみに基づいて、個人の結果における最悪の不利益の量を推定します。検索ベースのソフトウェアエンジニアリングと生成AIのツールを活用し、入力データセットに十分な数の関連サンプルがない場合でも、ML結果分布のテールから統計的に有意なポイントのセットをサンプリングするランダム化アルゴリズムを提示します。 私たちは、アルゴリズムの公平性に関する文献から、4つのMLモデル(ディープニューラルネットワーク、ロジスティック回帰、ランダムフォレスト)に対して、10以上の社会的に関連するタスクについていくつかの実験を行いました。まず、生成AI手法を評価し、95%のケースで有効なEVT分布を推測するのに十分なサンプルを生成することを発見しました。驚くべきことに、一般的なバイアス軽減要因は、平均的なケースの差別を減らす一方で、最悪のケースの差別を5%のケースで大幅に増加させることがわかりました。また、テールアウェア緩和アルゴリズムであるMiniMax-Fairnessでさえ、30%のケースで最悪の場合の識別が増加していることも観察しました。我々は、平均的なケースの識別を劣化させることなく、90%のケースでテールの公平性を向上させる新しいECDベースの緩和剤を提案する。
Article: 3
Title:
Model Monitoring in the Absence of Labelled Truth Data via Feature Attributions Distributions
Published:
2025-01-18
Authors:
Carlos Mougan
Abstract:
モデルモニタリングでは、AIアルゴリズムがデプロイされた後、その動作の変化を検出します。この論文では、予測が現実世界の意思決定やユーザーに影響を与える前に、機械学習モデル監視 ML について検討します。このステップは、テスト時にラベル付けされたデータがないため、パフォーマンスメトリクスを計算するのが難しく、場合によっては不可能になるという特定の条件によって特徴付けられます。 この論文は、(i)AIモデルが人間の価値観と一致するように振る舞うかどうかを測定するAIアライメントと、(ii)モデルが特定の精度目標または要望を達成しているかどうかを測定するパフォーマンスモニタリングの2つの主要なテーマを中心に構成されています。 この論文は、すべてのセクションを統一する共通の方法論を使用しています。両方の監視ディメンションの特徴属性分布を調査します。これらの特徴帰属の説明を使用して、それらの理論的特性を利用して、モデル監視に対する特定の保証と洞察を導き出し、確立することができます。
Article: 4
Title:
Characterization of GPU TEE Overheads in Distributed Data Parallel ML Training
Published:
2025-01-20
Authors:
Jonghytun Lee, Yongqin Wang, Rachit Rajat, Murali Annavaram
Abstract:
コンフィデンシャル コンピューティング (CC) または信頼された実行エンクレーブ (TEE) は、クラウドで安全なコンピューティングを実現するための最も一般的なアプローチです。NVIDIA による最近の GPU TEE の導入により、モデルの重みやデータをクラウド プロバイダーに漏らすことなく、機械学習 (ML) モデルをトレーニングできます。ただし、ML トレーニングに GPU TEE を使用することによる潜在的なパフォーマンスへの影響は、十分に特徴付けられていません。この作業では、GPU Trusted Execution Environments (TEE) を使用した分散データ並列 (DDP) ML トレーニングの実行に関連するパフォーマンスのオーバーヘッドに関する詳細な特性評価研究を紹介します。 私たちの研究は、GPU TEE内のDDPトレーニングにおけるパフォーマンスの課題を明らかにしています。DDP は、よく知られたアプローチである ring-all-reduce を使用して、複数のデバイスからの勾配を集約します。リング all-reduce は、複数の scatter-reduce 操作と all-gather 操作で構成されます。GPU TEEsでは、GPUパッケージ(GPUおよびHBMメモリ)のみが信頼されます。したがって、GPUパッケージの外部で通信されるデータはすべて、機密性と整合性の検証のために暗号化および認証する必要があります。したがって、ring-all-reduce の各フェーズでは、送信者からの暗号化とメッセージ認証コード(MAC)の生成、および受信者での復号化と MAC 認証が必要です。DDP に参加する GPU の数が増えると、リング オール リデュース中の安全な GPU 間通信のオーバーヘッドが比例して増加します。さらに、モデルが大きくなると、非同期の全縮小操作が多くなり、通信コストが悪化します。その結果、4 つの GPU TEE を使用すると、トレーニング対象のモデルに応じて、トレーニング イテレーションあたりのランタイムは、TEE を使用しない DDP トレーニングと比較して平均 8 倍、最大 41.6 倍増加することがわかりました。
Article: 5
Title:
Published:
2025-01-18
Authors:
Bernard M. S. van Praag, J. Peter Hop, William H. Greene
Abstract:
過去数十年で、関心のある変数が正確に観察されるのではなく、特定の順序カテゴリにあることがわかっている順序データの研究が重要になりました。心理測定学では、このような変数は、アイテムレスポンスモデル(IRM)の見出しの下で分析されます。計量経済学では、主観的幸福(SWB)および自己評価健康(SAH)研究、およびマーケティングリサーチでは、順序プロビット、順序ロジット、および間隔回帰モデルが一般的な研究プラットフォームです。問題が特定の分野に特有のものではないことを強調するために、中立的な用語である粗雑な観察を使用します。単一方程式モデルの場合、最尤法(ML)による潜在線形モデルの推定はルーチンです。しかし、高次元の多変量モデルの場合、推定には多変量正規分布関数を大規模に評価する必要があるため、計算が面倒です。私たちが提案する代替推定法は、一般化モーメント法(GMM)に基づいており、この多変量積分問題を回避します。この方法は、説明変数と一般化残差との間に想定されるゼロ相関に基づいています。これはMLよりも一般的ですが、エラー分布が多変量正規分布の場合はMLと一致します。これは、標準的な手法を繰り返し適用することで実装できます。GMM は、通常の ML アプローチよりもシンプルで高速なアプローチを提供します。これは、方程式の 次元誤差相関行列と応答カテゴリを持つ複数の方程式モデルに適用できます。また、polyserial 相関と polychoric 相関を推定する簡単な方法も得られます。私たちの方法とStata MLプロシージャcmpの結果を比較すると、統計的に異なることのない推定が得られますが、私たちの方法による推定は計算時間のほんの一部しか必要としません。