NeurIPS2021読み会の発表スライドです 論文: Fairness in Ranking under Uncertainty ランキング対象の価値が完全に把握出来ない状況でのランキングにおけるFairnessを定義し、そこで定義されたFairnessを実現するランキングの構成方法を提案した論文です。

1. UCPhrase: Unsupervised Context-aware Quality Phrase Tagging
Fairness in Ranking under Uncertainty
A. Singh (Cornell Univ.), D. Kempe (USC), T. Joachims (Cornell Univ.)
2022-01-25
Reader: Tatsuya Shirakawa
LINE Developer Meetup: NeurIPS2021 論文読み会

2. 2
Beatrustにおける、データの利活用にまつわるすべて。
人と組織のdynamicsを理解して、データ駆動の社会科学を実現したい。ついでに社会貢献したい。
Interview https://note.com/beatrust/n/ne63297b9c546
最近のお仕事
● ローンチ前の Tag Suggestion 機能を機械学習で作る
● 日本語辞書ありキーワード抽出器からの多言語辞書なしキーワード抽出器の Distillation
昔のお仕事
● 機は熟した！グラフ構造に対するDeep Learning、Graph Convolutionのご紹介
● 異空間への埋め込み！Poincare Embeddingsが拓く表現学習の新展開
● Retail Face Analysis Inside-Out
Beatrust Ex ABEJA Ex NTT Data 数理システム ML Data Science
NLP
Steve Reich J. S. Bach 犬飼いたい カジュアル面談お待ちしています
Data Scientist募集中
We are hiring! https://careers.beatrust.com/
s_tat1204
数理最適化

3. 3
Ranking under Uncertainty
Movie a Movie b … Movie z
User 1
★★★☆
☆
★★★★
☆
User 2
★☆☆☆
☆
★★☆☆
☆
User N
★★☆☆
☆
★★★★
★
post. dist.
or merit
真の価値は、間接的な観測から事後分布
として推定される
estimation
of merit
0.31 0.22 0.42
optimal
ranking #3944 #284
#7502
真の価値の期待値
真の価値の期待値に基づくランキング（ソート）
…
対象の価値（merit, e.g. レーティング）は
間接的・不完全に観測される
…

4. 4
Fairness in Ranking under Uncertainty
Movie a Movie b … Movie z
User 1
★★★☆
☆
★★★★
☆
User 2
★☆☆☆
☆
★★☆☆
☆
User N
★★☆☆
☆
★★★★
★
post. dist.
or merit
真の価値は、間接的な観測から事後分布として
推定される
対象の価値（merit, e.g. レーティング）は間接的・
不完全に観測される
fair
ranking
？
…

5. 5
Fairness in Ranking under Uncertainty
Movie a Movie b … Movie z
User 1
★★★☆
☆
★★★★
☆
User 2
★☆☆☆
☆
★★☆☆
☆
User N
★★☆☆
☆
★★★★
★
post. dist.
or merit
fair
ranking
？
本論文では所与
（ここはドメインエキスパートが頑張る）
本論文で定義・解析
…

6. 6
問題設定
Agent 1
Agent 2
Agent N
merit
post. dist.
utility 1.73
Meritの事後分布が与えられたもとでランキングポリシー（ランキングの分布）の
Fairnessを定義し、Fairなランキングポリシーとはどんなものか解析したい
Principal ランキングエンジン
(ランキング分布にしたがいランキングを生成）
Agent ランキング対象
Merit （Agentの）価値
Utility （ランキングの）効用
仮定: factability
ランキングσ、価値vの効用は価値のランクごとの重み
和の形式
utility
of
ranking σ
merit
of k-th agent
〜 post. dist.
non-increasingな重み
DCG: w_k = 1 / log_2(1 + k)
Average Reciprocal Rank: w_k = 1/k,
Precision@k = w_k = 1[1<=K] / K
所与
#13
0.56
#21
0.42
#4
0.75
#18
0.51
#34
0.27
#7
0.72
#20
0.44
#17
0.50
#2
0.92
…
2.48 1.97
Principal /
ランキングポリシー
π
…

7. 7
ランキングポリシー π^*
Agent 1
Agent 2
Agent N
merit
post. dist.
つねに期待価値が大きい順にagentをソートしてかえすポリシー
所与
#13
#21
#4
#18
#34
#7
#20
#17
#2
…
Principal /
ランキングポリシー
π^*
est. merit
0.47
0.32
0.58
#18
#34
#7
ranking
Fact
π^*は期待効用 を最大化する
…

8. 8
ランキングポリシーπ^TS
Agent 1
Agent 2
Agent N
merit
post. dist.
utility 1.73
所与
#13
0.56
#21
0.42
#4
0.75
#18
0.51
#34
0.27
#7
0.72
#20
0.44
#17
0.50
#2
0.92
…
2.48 1.97
Principal /
ランキングポリシー
π
Agentごとに価値をサンプリングし、それの値が大きい順にソートして返す（Thompson Sampling）ポリシー
価値は事後分布から
都度サンプリングされる
…

9. 9
Fairなポリシーとは？
Def (φ-fair)
ランキングポリシーπがφ-fairであるとは、すべての自然数 kとエージェントAに対して、
(Aがπでtop-kに入る確率) >= φ * (価値を事後分布からサンプリングするとき Aの価値がtop-kに入る確率)
が成り立つこと
Fact
(1) π^TS は 1-fair
(2) 1-fairなポリシーの期待効用は π^TSと同じ
(3) α-fair, β-fairなポリシーπ, π’を確率φ, 1-φで選択するMixポリシーは(φα + φ(1-q))-fair
したがってとくに、π^*とπ^TSを確率φ, 1-φで選択するMixポリシー π^MIX はφ-fair

10. 10
期待効用とFairnessのトレードオフ
Fair
期待効用
Max
Max
π^TS（1-fair）
π^*（期待効用最大）
φ
ミックスポリシー π^MIX (φ-fair)
最適トレードオフポリシー π^LP (φ-fair)
1 - φ
※ The Birkhoff-von Neumann Theoremにより、周辺分布p
が与えられると、ランキングポリシーの存在が保証される
※
確率φでπ^*、1-φでπ^TSをとるポリシー
Gap
Gap

11. 11
実験1: MovieLens
① π^*とπ^TSのギャップは？ → NDCGのギャップがそもそも 1%未満で驚くほど小さかった
設定 結果
値はNDCG
② π^LPとπ^MIXのギャップは？ → LP最適化すると多少改善する

12. 12
実験2: Paper Recommendation System @KDD2020
Figure 2 → π^*よりもfairなポリシーπ^TSのほうが露出の配分が均等になっている？
Table 1 → 論文の閲覧や聴講スケジュールのカレンダーへの登録などの行動に有意な差はない
（fairなポリシーを採用してもシステムの効用を大きく損なうことはない）
設定 結果
KDD2020の参加者の最近の論文や共著者
情報情報と論文の類似度に基づく Paper
Recommendation Systemを提供
- ユーザーに対する論文の価値 = 類似度
- ユーザーは無作為に π^*, π^TSへ振り分け
- レコメンドされた論文をスクロール
して表示したか、読んだかなどを計測

13. 13
感想
- φ-fair の定義がとにかくエレガントだった。教科書に載りそう。
- 理論部分はとにかくシンプルだったが、何を知りたいのかが明確な論文だった。
（注釈なく経済学由来っぽい用語を出してくるあたりが不親切だったけど）
- 実験は頑張ってるけど、実験結果の説得力は弱そうなので今後に期待。結局各種ポリシー間の
ギャップは小さいとおもっていいのかイマイチわからなかった。
- 現実的には π^MIX をつかっておけばそんなに悪くなさそう？
事後分布さえあれば実装はすごく簡単。価値をサンプリングするか期待価値を使うかを確率 φで
決め、それで得られた価値の順にソートするだけ。
- 複雑な問題を綺麗に整理して、「とりあえずこれでいいや」と思わせてくれた。

14. 14
この論文を実践するためのレシピ？（φ-fair, π^MIX ）
下準備
1. ランキング対象の価値の事後分布をがんばってつくっておく（ w/ ドメインエキスパート）
2. 1の事後分布から期待価値を求めておく
3. 期待するフェア度φ （0〜1）を決める
ランキングの作り方
1. 確率φで表がでるコインをフリップする
a. 表が出たら全ランキング対象にたいして価値を事後分布からサンプリングしてスコアとする
b. 裏が出たら期待価値をスコアとする
2. スコアの大きい順に並び替えて出力

15. 15
We are hiring!
https://careers.beatrust.com
Mission
人々の経験や強みを可視化して、自由に繋がり、協業・共創できる環境を作る
https://speakerdeck.com/beatrust/we-are-hiring