1. 佃 洸摂
産業技術総合研究所 人間情報インタラクション研究部門
主任研究員
2020年6月27日
ACM SIGMOD 日本支部第71回支部大会
The Web Conference 2020 国際会議報告
（Taipei, Taiwan, April 20-24）
講演で使用したスライドから一部を抜粋

2. 自己紹介 2
佃 洸摂（つくだ こうせつ）
2014年：京都大学大学院にて学位取得（田中克己研究室）
2015年：産業技術総合研究所に入所
研究テーマ：ユーザ生成コンテンツ・音楽コンテンツの推薦・検索・分析
 画像検索意図の満足度・評価指標への影響分析 (SIGIR 2020)
 コンテンツと推薦理由を同時に多様化する推薦 (RecSys 2019)
 創作情報も考慮したユーザ生成コンテンツ推薦 (SIGIR 2019)
 ユーザ生成コンテンツのコラボレーション分析 (ICWSM 2018)
 派生コンテンツの創作を引き起こした要因推定 (CIKM 2016)
http://ktsukuda.me/

3. The Web Conference 2020 概要

4. 会議の名称 4
 International World Wide Web Conference (WWW)
 ハッシュタグ：#www2017
 SNS上でのvisibilityが低下
1994 – 2017
 The Web Conference
 ハッシュタグ：#thewebconf
(#thewebconf・#thewebconf2020・#www2020 が混在)
2018 –

5. オンライン開催までの変遷 5
 1/31：台湾ではCOVID-19は流行していないので予定通り開催
 2/14：オフラインに加えてオンラインでの開催も決定
 3/6 ：台湾以外の参加者はオンラインでの参加を推奨
 4/2 ：オフラインでの開催はせずオンラインでのみ開催 (Zoom)
 1/23：武漢にてロックダウン実施
 2月 ：欧米でCOVID-19の感染者を多数確認
 3/9 ：イタリア全土にてロックダウン実施
 3/11：WHOがパンデミック表明
 4/2 ：世界全体のCOVID-19感染者数が100万人を突破
プレスリリース https://www2020.thewebconf.org/press
COVID-19情勢

6. TheWebConf2020の構成 6
14 workshops・13 tutorials・2 events
1 special speaker・3 keynotes・1 panel
8 research tracks・3 poster tracks・2 demo tracks
2 developer tracks・2 PhD tracks・5 events (内3件キャンセル)
20日～21日
22日～24日：本会議

7. 14 Workshops 7
W1: TempWeb
W2: MAISoN 2020
W3: SocialNLP 2020
W4: ECNLP 2
W5: DSSGW
W6: SIdEWayS
W7: IID
W8: CyberSafety 2020
W9: DecentWeb
W10: DL4G 2020
W11: LocWeb2020
W12: II FATES
W13: Wiki Workshop2020
W14: WebAndTheCity
Jiawei Han
University of Illinois Urbana-Champaign
On What Kinds of Networks
Do We Need Deep Learning Most?
Jure Leskovec
Stanford University
Advancements in Graph Neural
Networks: PGNNs, Pretraining, & OGB
W10: DL4G 2020 の keynotes

8. 13 Tutorials 8
T1: Wikimedia Public (Research) Resources
T2: Entity Summarization in Knowledge Graphs: Algorithms Evaluation and Applications
T3: Fairness and Bias in Peer Review and other Sociotechnical Intelligent Systems
T4: Explainable AI in Industry: Practical Challenges and Lessons Learned
T5: Learning Graph Neural Networks with Deep Graph Library
T6: Constructing Knowledge Graph for Social Networks in A Deep and Holistic Way
T7: Mining signed networks: theory and applications
T8: Unbiased Learning to Rank: Counterfactual and Online Approaches
T9: Deep Transfer Learning for Search and Recommendation
T10: Methods of Corporate Surveillance: a Primer on Experimental Transparency Research
T11: Challenges Best Practices and Pitfalls in Evaluating Results of Online Controlled Experiments
T12: Forecasting Big Time Series: Theory and Practice
T13: Responsible Recommendation and Search Systems

9. Bias in Peer Review 1 9
 WSDMでは2016年までsingle blindを採用
 WSDM2017でsingle blindとdouble blindを併用してバイアスを検証
 著者・企業・大学にバイアスが確認されWSDM2018からdouble blindに
 著者がUSA・著者と査読者が同一国・大学か企業かにはバイアスなし
査 査
査 査
Single blind Double blind

10. Bias in Peer Review 2 10
投稿
査読
自分の論文が通る確率を
上げるために
スコアを低くしよう
スペルミスが
多すぎるから
Strong Reject
スペルミスは
重要ではなく
内容が良いので
Strong Accept
Dishonest behavior
Subjectivity
査 査

11. Special speaker 11
Audrey Tang
Minister without Portfolio, Executive Yuan
Digital Social Innovation: Taiwan Can Help

12. 3 Keynotes 12
Yolanda Gil
University of Southern California
Embedding the Scientific Record on the Web:
Towards Automating Scientific Discoveries
Sir Nigel Shadbolt
University of Oxford
Architectures for Autonomy:
Towards an Equitable Web of Data in the Age of AI
Wei-Ying Ma
ByteDance
Democratizing Content Creation and
Dissemination through AI Technology
Webに知識を埋め込む
ユーザデータの公平な取り扱い
コンテンツ創作を支援するAI技術

13. Opening Ceremony

14. 投稿論文の各種統計量 14
12 research tracks（投稿時にトラックを指定）
2180 abstracts submitted
1600+ abstracts converted to paper submissions
~1500 eligible for regular review after withdraw and desk rejection
317 papers accepted (219 full papers; 98 short papers)

15. 国別論文投稿数 15
 中国とアメリカが圧倒的多数でいずれも500件以上
 日本は第8位で30件程度

16. トラック別論文投稿数 16
 2019年比で User Modelingトラック（推薦系中心）の投稿数が大幅増加
 いずれのトラックも採択率が20%になるよう調整

17. 投稿論文トピック 17
2019年も多かったGraph・Networkトピックの存在感が更に強まる

18. 採択論文・不採択論文のトピック 18
採択論文に特徴的なトピック：Recommendation・Knowledge graph・Generation

19. Research Track

20. 12種類のTrackと発表件数 20
Track 件数
Web Mining and Content Analysis 61
User Modeling 52
Social Network Analysis and Graph Algorithms 51
Semantics and Knowledge 25
Web and Society 22
Security, Privacy, and Trust 21
Web of Things, Ubiquitous, and Mobile Computing 18
Search 17
Health on the Web 15
Economics, Monetization, and Online Markets 13
Intelligent Systems and Infrastructure 11
Crowdsourcing and Human Computation 10
10種類のTrackから1本ずつ論文を紹介

21. Best Paper
Track: User Modeling
Open Intent Extraction from Natural Language
Interactions
Nikhita Vedula (The Ohio State University)
Nedim Lipka (Adobe)
Pranav Maneriker (The Ohio State University)
Srinivasan Parthasarathy (The Ohio State University)

22. 目的 22
 ユーザの発話内容からユーザの意図を抽出することが目的
 意図 ＝ action + object
 既定の意図カテゴリへの分類でなく任意の意図を抽出するのが最大の特徴
I would like to reserve a seat
and request a special meal on my flight.
(action, object) = (reserve, seat), (request, special meal)

23. 手法概要 23
入力文中の各単語に対して Action・Object・None のいずれかをタグ付け
I would like to reserve a seat …
None None None None Action None Object
敵対的学習で頑健性向上
マルチヘッドを採用して
全単語間の複数の関係を考慮

24. 実験 24
 QAサイト(Stack Exchange)の12ドメインに投稿された25,000件の質問文を使用
 AMTを使って各質問文にactionとobjectの正解ラベル付与
 各ドメインの80%の質問文で学習し、残り20%で精度を評価

25. モデルの頑健性評価 25
 学習データに対象ドメインを含めた場合と含めない場合の意図抽出のF1値を比較
 ドメイン間で記述される単語の重複度は平均で43%
 Life hacks以外では対象ドメインを除いてもF1値の減少は0.05以下で頑健性あり
F1 -td：対象ドメインを含まない
F1 +td：対象ドメインを含む

26. 意図のクラスタリング 26
 4ドメインの意図をattention layerの出力を用いてクラスタリング
 同じドメインの意図は同じクラスタに所属する傾向が高いことを確認
 ドメインが既定されていない場合に意図のドメインを発見できる可能性あり

27. Best Student Paper
Track: Web of Things, Ubiquitous, and Mobile Computing
Mobile App Squatting
Yangyu Hu (BUPT), Haoyu Wang (Beijing University of Posts and Telecommunications),
Ren He (Beijing University of Posts and Telecommunications), Li Li (Monash University),
Gareth Tyson (Queen Mary University of London), Ignacio Castro (Queen Mary University of London),
Yao Guo (Peking University), Lei Wu (Zhejiang University),
Guoai Xu (Beijing University of Posts and Telecommunications)

28. Squatting app 28
 公式アプリとアプリ名やパッケージ名を似せて公開されているアプリ
 ユーザの誤ったインストールを狙ってマルウェアを仕込む
Squatting appの例 アプリ名中の単語 パッケージ名中の単語
 Squatting appを高精度で検索可能なツールの開発
 Squatting appを取り巻く現状を上記ツールで大規模に調査
目的

29. 予備調査 29
 Goolge Playで1億件以上インストールされているアプリ10件を選択
 Squatting domainの検出ツール (URLCrazy) を使ってsquatting appを検索
 Low Accuracy： squatting appで使用されない候補を大量に生成（e.g. nacebook）
 Low Recall：文字列の追加等に対応する候補が生成されない（e.g. Facebook 2）
URLCrazyの問題点

30. Squatting app検索ツール：AppCrazy 30
 予備実験で得たsquatting appの例を基に11種類のルールベースで候補を生成
 GitHubで公開 https://github.com/squattingapp/AppCrazy

31. AppCrazyによる検索精度の改善 31
 URLCrazy：3,283件の候補を生成して89件のsquatting appを検出
 AppCrazy：1,442件の候補を生成して946件のsquatting appを検出

32. AppCrazyを使ったsquatting appの大規模調査 32
 426件のアプリを対象としてAppCrazyを使ってsquatting appを収集・分析
 アプリ名のsquattingは大文字小文字置換 (facebook) とドット等の置換が多い
 パッケージ名のsquattingは単語の変換 (com.facebook.litf) が多い
 インストール数の多いアプリほどsquatting appは多い傾向
 57%のsquatting appにはマルウェアが仕込まれている

33. Track: Web and Society
Don’t Let Me Be Misunderstood: Comparing
Intentions and Perceptions in Online Discussions
Jonathan P. Chang (Cornell University)
Justin Cheng (Facebook)
Cristian Danescu-Niculescu-Mizil (Cornell University)

34. 目的 34
なるほど、○○が✕✕なんだね
あなたの考えは間違ってます！
記事に書いてある事実を
書いただけなんだけどな‥
 議論における発話者の意図 (intention) と受け手の認識 (perception) の齟齬を調査
 Facebookの記事に対する発話とそれに返信した受け手の間の齟齬が対象
発
発
受

35. Intentionとperceptionのground truth作成 35
 Facebookユーザから実際の発話者と受け手を募集してアンケートを実施
 9,174名の発話者と7,129名の受け手からコメントを投稿した際の意図を収集
 Limitation: 発話者と受け手をペアで募集したわけではない
発話者への質問 受け手への質問
Fact sharing 事実を述べるため
に発言しましたか？
発話者が事実を述べるため
に発言していると感じましたか？
Fact seeking 事実を探すため
に発言しましたか？
発話者が事実を探すため
に発言していると感じましたか？
Opinion sharing 自分の意見を述べるため
に発言しましたか？
発話者が意見を述べるため
に発言していると感じましたか？
Opinion seeking 他人から意見を求めるため
に発言しましたか？
発話者が他人の意見を求めるため
に発言していると感じましたか？
各質問に5段階で回答 (Not at all ~ Definitely)

36. 回答スコアの分布の差異 36
 発話者 (intention) よりも受け手 (perception) の平均値が高い
 Fact/Opinion seekingでは発話者が全くそのつもりがない
(Response value = 1) 場合でも正しく受け手に伝わっていない

37. 単語特徴量と齟齬の関係 37
①
②
発話に“In fact”のような単語が含まれるとき
発話者は fact sharing を意図しているが
受け手はその意図を認識できていない
発話に“what”のような単語が含まれるとき
発話者は fact sharing を意図していないが
受け手はその意図を認識できていない
①
②

38. 会話の無作法度合いと齟齬の関係 38
発話者と受け手の一連の会話の無作法度合い (Thread incivility) を機械的に計測
発話者が fact sharing を意図すると
結果的にその後の議論は
無作法になりがち
受け手が fact sharing だと認識すると
結果的にその後の議論は
礼儀正しくなりがち

39. Track: Health on the Web
The Automated Copywriter:
Algorithmic Rephrasing of Health-Related
Advertisements to Improve their Performance
Brit Youngmann (Microsoft Research)
Elad Yom-Tov (Microsoft Research)
Ran Gilad-Bachrach (Microsoft Research)
Danny Karmon (Microsoft Healthcare NExT)

40. 目的 40
Singling Out Shingles Vaccine –
13 Health Facts. Check out 13 health facts
about shingles on ActiveBeat right now.
広告を出す会社が
考えた広告
提案手法
提案手法により
改善された広告
Shingles Vaccine – everything you need
to know. Discover 13 fact on shingles on
ActiveBeat. Get expert advice now!
 SERPに表示する医療関係の広告の文章をより魅力的に変換してクリック率改善
 アプローチ：元の広告の文章を魅力的な文章に翻訳

41. 提案手法の流れ１ 41
Normalization
Candidate generation
Preprocessing
Normalization
 医療関連の単語を記号に置換
 SpaCyで対象の単語を学習
Singling Out Shingles Vaccine
Singling Out <CONDITION/TREATMENT>
Preprocessing
 ステミング
 地名・人物名・数値などを記号に置換
Singling Out <CONDITION/TREATMENT> -
13 Health Facts.
single out <CONDITION/TREATMENT> -
<CARDINAL> health facts.

42. 提案手法の流れ２ 42
Normalization
Candidate generation
Preprocessing
Candidate generation
 seq2seqモデルを使って文章を変換
 キーワード (e.g. vaccine) に関連する
クリック率の低い広告と高い広告のペア
から変換方法を学習
single out <CONDITION/TREATMENT> - health fact.
check out <CARDINAL> health fact about
<CONDITION/TREATMENT> on <ORG> right now.
LSTM
seq2seq
LSTM
<CONDITION/TREATMENT> - everything you need
to know. discover <CARDINAL> fact on
<CONDITION/TREATMENT>. get expert advice now!

43. オンライン評価 43
 二つのドメイン (MS: Medical Symptoms, PH: Preventive Healthcare) を対象
 19本の広告に対して改善前後の広告を表示しクリック率を比較
 19本中15本でクリック率が改善され平均でクリック率が68.2%上昇
改善前の広告のクリック率（%）
改善後の広告のクリック率（%）

44. 広告の感情分析 44
 各ドメインの広告について改善前後でのvalence・arousalの変化を調査
 いずれのドメインでも改善後の方がvalence・arousalが共に上昇

45. Track: Web Mining and Content Analysis
OutfitNet: Fashion Outfit Recommendation with
Attention-Based Multiple Instance Learning
Yusan Lin (Visa Research)
Maryam Moosaei (Visa Research)
Hao Yang (Visa Research)

46. 目的 46
 衣服を組み合わせてユーザが作成したoutfit (衣服一式) にlikeをするSNSが存在
 目的：ユーザがlikeしそうなoutfit (衣服一式) の推薦
 衣服自体の好みに加えて組み合わせにおける各衣服の重要度も考慮するのが特徴
0.80
0.75
0.35
0.99
0.65
0.55
0.99
0.40
0.35
0.10
0.05
0.75
0.10
0.10
0.15
0.65
0.05
0.05
outfit A outfit B
靴を重視するユーザ
なので靴のスコアが高い
outfit Bを推薦

47. モデル概要 47
 推薦対象のユーザ u が like した outfit i と like していない outfit j をサンプリング
 ①：outfit i に含まれる各衣服を画像を基にベクトルで表現
 ②：ユーザ u をベクトルで表現
 ③：outfit i に含まれる各衣服とユーザ u のベクトルを連結して圧縮
 ④：outfit i に対するユーザ u のスコア (好みの度合い) を計算 (詳細は次スライド)
①
②
③ ④
𝑔𝑔, 𝑓𝑓, 𝜙𝜙：全結合層

48. outfitに対するユーザのスコア計算｜2種類のアプローチ 48
Instance-based Embedding-based
各衣服のベクトル 𝐡𝐡𝐟𝐟. をスカラー値 (𝝅𝝅)
に変換した後で attention layer に投入
各衣服のベクトル 𝐡𝐡𝐟𝐟. を先に
attention layer に投入して 𝐡𝐡𝐬𝐬. 作成

49. 実験結果 49
 2種類のデータセット (Polyvore・iFashion) を使用
 All outfits (テストデータにあらゆるoutfitを含める) ではEmbedding-basedが優位
 Cold outfits (テストデータに1人のユーザがlikeしたoutfitだけを含める) では
Instance-based が優位
OP-Ins : Instance-based
OP-Emb: Embedding-based

50. Track: Crowdsourcing and Human Computation
Becoming The Super Turker: Increasing Wages
Via A Strategy From High Earning Workers
Saiph Savage (Universidad Nacional Autonoma de Mexico (UNAM))
Chun Wei Chiang (West Virginia University)
Susumu Saito (Waseda University)
Carlos Toxtli (West Virginia University)
Jeffrey Bigham (Carnegie Mellon University)

51. 目的 51
 Super Turker：アメリカの最低時給 (7.25ドル) 以上の額をAMTで稼ぐワーカー
 目的：Super Turkerのノウハウを発見しnoviceワーカーが効率良く稼げるように
 Transparency tool：タスク自体やタスク依頼者の情報をワーカーが閲覧するツール
(e.g. TurkerView, Turkopticon)

52. Super Turkerのノウハウ調査 52
 AMTで100人のSuper Turkerを対象に調査（32人の回答はreject）
 88%のSuper Turkerはtransparency tool (TurkerViewかTurkopticon) を使用
 参加タスクを決める際にTurkopticonでは「Pay」と「Fair」のデータを重視

53. Super Turkerがタスクに参加する基準 53
 TurkerViewに表示される「hourly pay」が8.29ドル以上
 上記の情報が利用できない場合
Turkopticonに表示されるタスク依頼者の「fair」スコアが3.69以上
 上記の情報が利用できない場合
１タスクの報酬が0.23ドルより高い

54. Super Turkerのノウハウを使ったnoviceワーカーの支援 54
 Experimental groupのワーカーの方が1時間あたりに稼ぐ額が多くなった
 約半数のExperimental groupのワーカーは参加基準に全く従わなかった：
ワーカーの技術不足等の問題で参加記述を満たすタスクに参加できず
Control group Experimental group
TurkerView
+
Turkopticon
TurkerView
+
Turkopticon
+
Super Turkerの参加基準

55. Track: Economics, Monetization, and Online Markets
Predicting Drug Demand with Wikipedia Views:
Evidence from Darknet Markets
Sam Miller (University of Warwick & Alan Turing Institute)
Abeer El-Bahrawy (City University London)
Martin Dittus (Oxford Internet Institute, University of Oxford & Alan Turing Institute)
Mark Graham (University of Oxford)
Joss Wright (University of Oxford)

56. 目的 56
 目的：ダークウェブマーケットにおける麻薬の売上の増減率を予測
 アプローチ：各国の各麻薬のWikipediaページの閲覧数のデータを使用
麻薬 𝒊𝒊 の国 𝒋𝒋 での 𝒕𝒕 − 𝟏𝟏 月に対する 𝒕𝒕 月の売上の増減率 𝒚𝒚𝒊𝒊,𝒋𝒋,𝒕𝒕：
ダミー変数
麻薬 𝒊𝒊 の国 𝒋𝒋 での 𝒕𝒕 − 𝟏𝟏 月に対する 𝒕𝒕 月のWikipedia閲覧数の増減率

57. 予測精度 57
 Baseline： (Wikipediaの閲覧数不使用)
 MAE：実際の増加率が0.4で予測増加率が0.2であればMAE=0.2
 BaselineのMAEが大きいマイナーな麻薬 (DMTや2CB) で提案モデルは有用

58. Track: Social Network Analysis and Graph Algorithms
Friend or Faux: Graph-Based Early Detection of
Fake Accounts on Social Networks
Adam Breuer (Harvard University)
Roee Eilat (Facebook)
Udi Weinsberg (Facebook)

59. 目的 59
 Facebook上の fakeアカウントの早期発見 (アカウント生成後7日以内)
 新規アカウントがフレンド申請したユーザとaccept/rejectの結果から推定
 「reject率が低い＝real (非fake) アカウント」とは言えない

60. 分析１ 60
 Fakeアカウントからフレンド申請が送られてくる頻度がユーザによって異なる
 Fakeアカウントからフレンド申請が送られやすいユーザに
フレンド申請しているアカウント：fakeアカウントらしさが高い
Realユーザから
フレンド申請が
送られやすい
Fakeユーザから
フレンド申請が
送られやすい

61. 分析２ 61
Fakeユーザからの
フレンド申請を
rejectしがち
Fakeユーザからの
フレンド申請を
acceptしがち
 Fakeアカウントからのフレンド申請のaccept率がユーザによって異なる
 Fakeアカウントからのフレンド申請をrejectしがちなユーザに
フレンド申請しているアカウント：realアカウントらしさが高い

62. モデル 62
アカウント i がfakeである確率：
以下の場合に推定対象のアカウント i がfakeらしい
 fakeアカウントにフレンド申請されがちなユーザ j にフレンド申請
 ユーザ j の accept/reject がrealアカウントに対する反応と異なる

63. 実験 63
 評価対象：生成後7日以内のアカウント
 提案手法では15件のフレンド申請結果があれば十分に高い精度で検出可能
 フレンド申請のreject率では精度は出ず

64. Track: Security, Privacy, and Trust
Detecting Undisclosed Paid Editing in Wikipedia
Nikesh Joshi (Boise State University)
Francesca Spezzano (Boise State University)
Mayson Green (Boise State University)
Elijah Hill (Boise State University)

65. 目的 65
 一部のWikipediaユーザが報酬の享受を隠して特定団体に有利な記述を編集
 目的：そのようなユーザ (sockpuppet) や記事を自動的に特定
https://current.ndl.go.jp/node/29351

66. 特徴量（一部） 66
記事ベース
ユーザベース
 リファレンス数：徐々に増加するので作成時に多いほど怪しい
 バイト数：他のユーザとの共同編集で増えるので少ないほど怪しい
 画像数：著作権違反の画像は削除されるので少ないほど怪しい
 インフォボックス：目立たせたい情報を書きやすいのであると怪しい
 User・Talkページの編集率：Userページの編集回数が多いほど怪しい
 編集時間の平均間隔：一般ユーザは定期的に編集するので長いほど怪しい
 平均追記文字数：一般ユーザは部分的な編集が多いので多いほど怪しい

67. 評価結果｜記事の特定 67
 Sockpuppetユーザによって作成された後削除されたページを収集
 記事ベースの特徴量よりもユーザベースの特徴量の方が有用
 特徴量の有用性ランキング
1. User・Talkページの編集率
2. 編集時間の平均間隔
3. リファレンス数

68. Track: Search
End-to-End Deep Attentive Personalized Item
Retrieval for Online Content-sharing Platforms
Jyun-Yu Jiang (University of California, Los Angeles), Tao Wu (Google)
Georgios Roumpos (Google), Heng-Tze Cheng (Google), Xinyang Yi (Google),
Ed Chi (Google), Harish Ganapathy (Google), Nitin Jindal (Google), Pei Cao (Google),
Wei Wang (University of California, Los Angeles)

69. 目的 69
 目的：テキストデータ (e.g. メタデータ・レビュー) が利用できないアイテムの検索
 特徴：アイテムごとにattention用のベクトル (item key embedding) を用意

70. Item key embedding 70
一般的なattention
Query embedding: 𝒒𝒒
Item embedding: 𝒗𝒗
の内積
提案するattention
Query embedding: 𝒒𝒒
Item key embedding: 𝒌𝒌𝒗𝒗
の内積
 クエリの特徴空間がアイテムを表現
するのに適しているとは限らない
 クエリとアイテムの関係性を
より適切に学習するために
item embeddingとは独立な
item key embeddingを用意

71. Item key embeddingの学習の工夫１ 71
 ①の全結合層で item key embedding は間接的に学習される
 クエリと適合するアイテムから②で item key embedding をより直接的に学習
②
①

72. Item key embeddingの学習の工夫２ 72
 クエリとは独立にアイテムのコンテキストから item key embedding を学習
 コンテキスト：ユーザが対象アイテムの前後L個で消費したアイテムのリスト
次元数：全アイテム数
𝑘𝑘1 𝑘𝑘𝑖𝑖−𝐿𝐿/2 𝑘𝑘𝑖𝑖−1 𝑘𝑘𝑖𝑖+1 𝑘𝑘𝑖𝑖+𝐿𝐿/2
𝑘𝑘|𝐻𝐻 𝑉𝑉 𝑢𝑢 |
∑ 𝒌𝒌

73. 実験 73
工夫１排除
工夫２排除
 タスク：YouTubeの動画推薦
 評価指標：SR@1 (正解が1位にランキングされる割合）
 特にユーザの履歴が少ない場合には工夫１の効果が大きい

74. Closing Ceremony

75. 国別参加者数 75

76. YouTubeチャンネル 76
 「TheWebConference2020 Web」チャンネルにて全発表の動画を公開中
 https://www.youtube.com/channel/UCSmzbolRjHCwATpx2mwrNtg