Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

ヒトの機械学習

319 views

Published on

- Retailの話
- Annotationの話
- ヒトをよりよく理解するための心理の機械学習

Published in: Technology
  • DOWNLOAD FULL BOOKS, INTO AVAILABLE FORMAT ......................................................................................................................... ......................................................................................................................... 1.DOWNLOAD FULL. PDF eBook here { https://tinyurl.com/y3nhqquc } ......................................................................................................................... 1.DOWNLOAD FULL. EPUB eBook here { https://tinyurl.com/y3nhqquc } ......................................................................................................................... 1.DOWNLOAD FULL. doc eBook here { https://tinyurl.com/y3nhqquc } ......................................................................................................................... 1.DOWNLOAD FULL. PDF eBook here { https://tinyurl.com/y3nhqquc } ......................................................................................................................... 1.DOWNLOAD FULL. EPUB eBook here { https://tinyurl.com/y3nhqquc } ......................................................................................................................... 1.DOWNLOAD FULL. doc eBook here { https://tinyurl.com/y3nhqquc } ......................................................................................................................... ......................................................................................................................... ......................................................................................................................... .............. Browse by Genre Available eBooks ......................................................................................................................... Art, Biography, Business, Chick Lit, Children's, Christian, Classics, Comics, Contemporary, Cookbooks, Crime, eBooks, Fantasy, Fiction, Graphic Novels, Historical Fiction, History, Horror, Humor And Comedy, Manga, Memoir, Music, Mystery, Non Fiction, Paranormal, Philosophy, Poetry, Psychology, Religion, Romance, Science, Science Fiction, Self Help, Suspense, Spirituality, Sports, Thriller, Travel, Young Adult,
       Reply 
    Are you sure you want to  Yes  No
    Your message goes here

ヒトの機械学習

  1. 1. Update 2019/06/02 Tatsuya Shirakawa (tatsuya@abejainc.com) ヒトの機械学習 ICLR2019読み会@京都
  2. 2. Tatsuya Shirakawa 2 ABEJA, Inc. (Researcher) - Deep Learning (CV, Graph, NLP, ) - Machine Learning Github https://github.com/TatsuyaShirakawa NTT Data Mathematical Systems Inc. - Mathematical Optimization - Machine Learning / Deep Learning Math. Tech blog http://tech-blog.abeja.asia/ - 異空間への埋め込み!Poincare Embeddingsが拓く表現学習の新展開 - 機は熟した!グラフ構造に対するDeep Learning、Graph Convolutionのご紹介 - 双曲空間でのMachine Learningの最近の進展 - より良い機械学習のためのアノテーションの機械学習 Now
  3. 3. Copyright © ABEJA, Inc. All rights reserved. Retailの話 3
  4. 4. Copyright © ABEJA, Inc. All rights reserved. ABEJA Insight for Retailでやっていること 4 店舗にカメラを設置し、 • 来店⼈数カウント • 来店者属性(年齢・性別)推定 • リピーター推定 • 導線分析

  5. 5. Copyright © ABEJA, Inc. All rights reserved. デモグラ推定 個別来店者の年齢・性別を推定し、来店者全体の年齢・性別分布を把握したい 5 Male or Female? How old? ← わりと簡単 ← けっこう難しい
  6. 6. Copyright © ABEJA, Inc. All rights reserved. 年齢推定の難しさ — ⾒た⽬年齢と⽣物学的年齢 ⾒た⽬から⽣物学的年齢を推定するのは難しい
 ⾒た⽬年齢は感覚的で撮影環境や画質にも依存する 6 How old am I?(⽣物学的年齢) How old do I look?(⾒た⽬年齢)
  7. 7. Copyright © ABEJA, Inc. All rights reserved. 年齢推定の難しさ — アノテーションバイアス ヒトは無意識に特定の年齢ばかりアノテーションしてしまう 7
  8. 8. Copyright © ABEJA, Inc. All rights reserved. 年齢推定の難しさ — 範囲のある数値データ 識別がよいのか回帰が良いのか。 また、構造的に、範囲の端(0歳とか100歳とか)を出⼒しづらい。 8 0 1 2 3 100歳 35.6歳 Age Classification Age Regression or
  9. 9. Copyright © ABEJA, Inc. All rights reserved. DEX — 識別による回帰 R. Rothe+, “DEX: Deep EXpectation of apparent age from a single image”, ICCV workshop 2015 softmaxで年齢ラベル推定し、それで年齢の期待値をとる。
 4年くらい前のSOTAで、最近の⽅法もこれをベース(たたき台)にしているもの が多い。ただし、DEXでも範囲の端が予測できない問題は解決できない… 9https://data.vision.ee.ethz.ch/cvl/rrothe/imdb-wiki/
  10. 10. Copyright © ABEJA, Inc. All rights reserved. 年齢推定の難しさ — 全体の分布を⼀致させたい 個⼈個⼈の年齢性別はもちろんだが、来店者全体の年齢性別の分布を知りたい
 => 個別データではなく、分布をground truthにあわせたい
 …が、漫然とやると、予測値は平均値/中央値側に間違いやすくなる 10 Ground Truth ← 予測値の“分布”をこれに
   近づけなければいけない
  11. 11. Copyright © ABEJA, Inc. All rights reserved. 年齢推定あらゆるタスクにおける難しさ 現実世界はとにかくノイジー!だいたい正⾯向いてくれない!
 カメラの選定・設置・調整技術は超重要!(限界はある) 11
  12. 12. Copyright © ABEJA, Inc. All rights reserved. ヒトの認知能⼒由来の難しさ アノテーションをする際、画質のコントロールをすることは超重要! 12 Who are you? 明るさ補正 Who are you? ヒトにとってやさしく。
  13. 13. Copyright © ABEJA, Inc. All rights reserved. よいデータセットがない問題 世の中で公開されているデータセットも⾃分で作るデータセットも、年齢分布が ⾮常にインバランス。⼦供と⾼齢者は精度を出しにくい。 13https://data.vision.ee.ethz.ch/cvl/rrothe/imdb-wiki/
  14. 14. Copyright © ABEJA, Inc. All rights reserved. ⾃前でもデータをためにくい問題 — プライバシー保護 個⼈識別できるデータ(特徴量など)は6ヶ⽉以内に破棄する必要がある等 → ⾃前で学習データセットを作って保持することが困難 14https://abejainc.com/insight/retail/ja/privacy/
  15. 15. Copyright © ABEJA, Inc. All rights reserved. 印刷/表⽰された顔問題(anti-spoofing) 店舗内広告とかTシャツに印刷された顔とか凶悪 15
  16. 16. Copyright © ABEJA, Inc. All rights reserved. リッチだけどチャレンジングな動線データ 16
  17. 17. Copyright © ABEJA, Inc. All rights reserved. Insight for Retailは、
 店舗内のヒトの動きを科学するサービス 17
  18. 18. Copyright © ABEJA, Inc. All rights reserved. Annotationの話 18
  19. 19. Copyright © ABEJA, Inc. All rights reserved. 19 10,000⼈のアノテーター! 品質管理! 速度!
  20. 20. Copyright © ABEJA, Inc. All rights reserved. なぜAnnotationにこだわるのか? 20
  21. 21. Copyright © ABEJA, Inc. All rights reserved. MLの典型的プロセス 21 収集 意味付け 学習 評価 運⽤ アノテーション = “cat
  22. 22. Copyright © ABEJA, Inc. All rights reserved. MLの典型的プロセス 22 “cat” 収集 アノテーション 学習 評価 運⽤ Process
  23. 23. Copyright © ABEJA, Inc. All rights reserved. MLの典型的プロセス 23 “cat” Info. Loss 上流で重要な情報 を⽋落させない
 ことが重要 収集 アノテーション 学習 評価 運⽤ Process
  24. 24. Copyright © ABEJA, Inc. All rights reserved. MLの典型的プロセス 24 “cat” Info. Loss 収集 アノテーション 学習 評価 運⽤ Process 上流で重要な情報 を⽋落させない
 ことが重要
  25. 25. Copyright © ABEJA, Inc. All rights reserved. 実験: Learning on Noisy Dataset 25 Classification Dataset 100% 識別モデルの学習 テストデータでTest 100% アノテーション精度
  26. 26. Copyright © ABEJA, Inc. All rights reserved. 実験: Learning on Noisy Dataset 26 Classification Dataset 100% Label Noising
 学習データの0~100%のラベルを付替 0~100% 識別モデルの学習 テストデータでTest 100% アノテーション精度
  27. 27. クリーンなデータで学習した⽅が精度が⾼くなりやすく、過学習しにくい 実験結果 Accuracy Epochs ※線はそれぞれ上からノイズ0, 10, …, 100%の結果。
  28. 28. 相対精度 = 精度 / 全試⾏で達成されたの最良精度 のヒートマップ 学習データの精度とサイズに対するモデルのテスト精度 学習に使うデータ数 データの精度
  29. 29. Copyright © ABEJA, Inc. All rights reserved. 顔認識でもデータセットのアノテーション精度が⼤事 29 顔認識 = 顔画像が誰の顔かを当てる技術
 ⼤規模で多様でクリーンなデータセットを学習に使うことがクリティカル ⼤規模な(9000⼈の330万枚の顔画像)
 綿密にクリーニングされたデータセット (https://github.com/davidsandberg/facenet)
  30. 30. Copyright © ABEJA, Inc. All rights reserved. [Loy2018] C. C. Loy+, “The Devil of Face Recognition is in the Noise”, ECCV2018
 クリーンなデータセットを使うと⾼精度のモデルを効率的に得られる 30 論⽂中で提案されたクリーンなデータセット
  31. 31. Copyright © ABEJA, Inc. All rights reserved. GPT-2 31 A. Radford+, “Language Models are Unsupervised Multitask Learners”, 2019 信頼性の⾼いWebページをクローリングして得たクリーンで多様なコーパス(WebText) 上で強⼒な⾔語モデル(GPT-2)を教師なし学習(尤度最⼤化)。
 ⽂書⽣成系のさまざまなタスクのZero-shot学習でSOTAを更新
  32. 32. Copyright © ABEJA, Inc. All rights reserved. なぜAnnotationにこだわるのか アノテーションがなきゃ始まらない アノテーションの品質が良くなきゃ始まらない アノテーションを⼤量にできなきゃ始まらない 32
  33. 33. Copyright © ABEJA, Inc. All rights reserved. なぜAnnotationにこだわるのか アノテーションがなきゃ始まらない アノテーションの品質が良くなきゃ始まらない アノテーションを⼤量にできなきゃ始まらない 33 ホント?
  34. 34. Copyright © ABEJA, Inc. All rights reserved. Annotationサボる系研究 • Unsupervised Learning • Domain Adaptation • Data Augmentation • Transfer Learning • Weakly-Supervised Learning • Semi-Supervised Learning
 34
  35. 35. Copyright © ABEJA, Inc. All rights reserved. Annotationサボる系研究 • Unsupervised Learning • Domain Adaptation • Data Augmentation • Transfer Learning • Weakly-Supervised Learning • Semi-Supervised Learning
 35 アノテーションに関係ない部分を頑張る系
  36. 36. Copyright © ABEJA, Inc. All rights reserved. Annotationサボる系研究 • Unsupervised Learning • Domain Adaptation • Data Augmentation • Transfer Learning • Weakly-Supervised Learning • Semi-Supervised Learning
 36 個⼈的に⼀番好きだけど、タスク依存
  37. 37. Copyright © ABEJA, Inc. All rights reserved. Annotationサボる系研究 • Unsupervised Learning • Domain Adaptation • Data Augmentation • Transfer Learning • Weakly-Supervised Learning • Semi-Supervised Learning
 37 できるだけサボる系 ←
  38. 38. Copyright © ABEJA, Inc. All rights reserved. Semi-Supervised Learning 38 少量の教師ありデータと(⽐較的)⼤量の教師なしデータから学習する 教師なしデータを利⽤して 教師あり学習の精度を向上 できるか? “cat” “dog” “dog” “cat” “cat”
  39. 39. Copyright © ABEJA, Inc. All rights reserved. 有名なSSL⼿法+αの効果検証 39 • Temporal Ensemble (ICLR2017) • Mean Teacher (NeurIPS2018) • TE++ (WAICに基づく筆者らの未発表⼿法) x, y ⼊出⼒ペア
 w dropoutやDAなどの
 効果を表す確率変数
 θ … モデルパラメータ(省略可) いずれも、モデルの出⼒が揺らが ないように正則化を加える⼿法
  40. 40. Copyright © ABEJA, Inc. All rights reserved. CIFAR10での検証結果 40 TE Mean Teacher TE++ ※モデルはいずれも同じ 効果はあるが不安定・限定的で、教師データを増やしたほうが明らかに効果的
  41. 41. Copyright © ABEJA, Inc. All rights reserved. [Oliver2018] A. Oliver+, “Realistic Evaluation of Deep Semi-Supervised Learning Algorithms”, NeurIPS2019
 既存のSSL論⽂は過度なパラメータチューニングなどがなされており、
 ⼿法⾃体の正当な評価が出来ていない 41
  42. 42. Copyright © ABEJA, Inc. All rights reserved. アノテーションしないで戦うのは
 ⾯⽩いけどいばらの道 42
  43. 43. Copyright © ABEJA, Inc. All rights reserved. じゃあAnnotationしよう。 で、誰がするの? 43
  44. 44. Copyright © ABEJA, Inc. All rights reserved. アノテーターさん 44 10,000⼈!
  45. 45. Copyright © ABEJA, Inc. All rights reserved. 45 10,000⼈
  46. 46. Copyright © ABEJA, Inc. All rights reserved. アノテーターの個性問題 アノテーターによって、上⼿い下⼿、速い遅いがある アノテーターによって、得意なタスクとそうでないタスクがある アノテーターによって、際どいケースでの思い切りが違う アノテーションが業界的にスキルとして確⽴していない 46
  47. 47. Copyright © ABEJA, Inc. All rights reserved. アノテーターの解析例 (EM-algo) 47
  48. 48. Copyright © ABEJA, Inc. All rights reserved. 詳しくはWebで • アノテーションがコケると機械学習
 がWorkしなくなる • アノテーションの精度が重要 • アノテーションの量が重要 • アノテーションをサボるとロクな
 ことがない 48 https://tech-blog.abeja.asia/entry/ml-annotation
  49. 49. Copyright © ABEJA, Inc. All rights reserved. Annotation Serviceは、 ヒトを上⼿につかってデータに命を吹き込むサービス 49
  50. 50. Copyright © ABEJA, Inc. All rights reserved. Retailの解析もAnnotationも
 ヒトの⾏動や意思決定を対象にしたサービス 50
  51. 51. Copyright © ABEJA, Inc. All rights reserved. などと取り繕って⾒ましたが、
 ヒトを理解してみたいというのが本⼼。 パターンはあるけどモヤモヤものに切り込むのって楽しいですよね…? 51
  52. 52. 52 Psychology 
 x
 ML
  53. 53. Why ML? 53
  54. 54. Why ML? 1. 理論駆動アプローチは視野を狭める
 2. ⼼理的側⾯は、いつもノイジーで部分的なデータとして観測される
 3. ⼈間の⾏動は⾮常に複雑
 4. ⼼理学で使われているML⼿法は、古典的でアップデートされていない 54
  55. 55. Why ML? 1. 理論駆動アプローチは視野を狭める
 2. ⼼理的側⾯は、いつもノイジーで部分的なデータとして観測される
 3. ⼈間の⾏動は⾮常に複雑
 4. ⼼理学で使われているML⼿法は、古典的でアップデートされていない 55
  56. 56. 理論で説明される現象しか⾒なくなる R. E. Jack+, “Data-Driven Methods to Diversify Knowledge of Human Psychology”, Trends in cognitive sciences 2018 広く信奉されているEkmanの基本6感情理論は、暗黙のうちに⻄洋⼈を仮定して いた。最近は、そもそも6感情に分けること⾃体に疑義(おまけ参照)。 “theory-driven lenses ‒ the hallmark of hypothesis testing ‒ can constrain the development of knowledge, even within a culture “ 56 ↑ 表情が表す感情の理論は⻄洋⼈をベースに作られており、東洋⼈には通⽤しなかったという解析
  57. 57. Why AI? 1. 理論駆動アプローチは視野を狭める
 2.⼼理的側⾯は、いつもノイジーで部分的なデータとして観測される
 3.⼈間の⾏動は⾮常に複雑
 4. ⼼理学で使われているML⼿法は、古典的でアップデートされていない 57 関連因⼦が多すぎて、理論(モデル)駆動では
 部分的にしか扱いきれない
  58. 58. Why AI? 1. 理論駆動アプローチは視野を狭める
 2. ⼼理的側⾯は、いつもノイジーで部分的なデータとして観測される
 3. ⼈間の⾏動は⾮常に複雑
 4.⼼理学で使われているML⼿法は、古典的でアップデートされていない 58
  59. 59. Copyright © ABEJA, Inc. All rights reserved. ⼼理学でもっともよく使われているML⼿法 因⼦分析、共分散構造解析、… 59
  60. 60. “State-of-the-art” M. Gerlach+, “A robust data-driven approach identifies four personality types across four large data sets”, Nature Human Behaviour 2018 60 State-of-the-art clustering techniques
 = GMMs (Gaussian Mixture Models)
  61. 61. Copyright © ABEJA, Inc. All rights reserved. 教師あり学習が使われていない…!? ⼼理学じゃなくて社会科学だけど…
 > データサイエンスでは⼀般的に使われるが、社会科学では滅多に使われない
 強⼒な⽅法、つまり教師付き学習 
 (「ビット・バイ・ビット — デジタル社会科学⼊⾨」) 研究⽅法の違いはあれど、⽬を疑うような⾔及は
 (この本だけでなく)これにとどまらない…。 61
  62. 62. MLをやっている⼈間は
 無限に貢献できそう! 62
  63. 63. Copyright © ABEJA, Inc. All rights reserved. パーソナリティ⼼理学 63
  64. 64. Personality Psychology — ⼈格⼼理学 Personality Psychology is a scientific study which aims to show how people are individually different due to psychological forces (wikipedia). 64 Personality Traits(特性)
 Features Personality Types(類型) Clustering / Classification あなたは○○タイプ!
  65. 65. パーソナリティ = ふるまいや⼼の動き⽅のパターン 65 Personality ✔ ✗
  66. 66. Big 5 — Five Factor Model (FFM) 66 1. Openness(経験への開放性)
 is a general appreciation for art, emotion, adventure, 
 unusual ideas, imagination, curiosity, and variety of experience 2. Conscientiousness(誠実性)
 is a tendency to display self-discipline, act dutifully, and strive 
 for achievement against measures or outside expectations 3. Extraversion(外向性)
 is characterized by breadth of activities (as opposed to depth), surgency 
 from external activity/situations, and energy creation from external means 4. Agreeableness(協調性)
 trait reflects individual differences in general concern for social harmony 5. Neuroticism(神経症的傾向)
 is the tendency to experience negative emotions, such as anger, anxiety, or depression (wikipedia)
  67. 67. Big5は⼼理学におけるデファクトスタンダード • Big5の有効性を裏付ける研究成果がたくさんある • むしろ、Big5との相関性を測ることが基本的な研究スキームにさえなっている • Big5は年をとっても変わりにくい(=その⼈の本質を表している?) • Big5の50%程度は遺伝要因で決まる(残りは環境要因 or 未知) 67
  68. 68. パーソナリティの測り⽅ 68 Questionnaire Method Projective Technique
 (e.g. Rorschach test)
  69. 69. 質問紙法 69 Questionnaire Method Projective Technique
 (e.g. Rorschach test)
  70. 70. ⼀般的な質問紙調査法の⼿順 1. リサーチクエスションと仮説 2. 分析計画の⽴案 3. 質問の作成 4. 調査票の構成 5. 対象者の決定 6. 調査⽅法の選択 70 ← 共変数(交絡変数)の⾒落としがないか⼗分チェック ← 試⾏錯誤。平易で短い表現が望ましい。 ← a. ⼀般的で答えやすい質問を最初に b. プライバシーに関わる質問は最後に 
 c. 重要な質問はできるだけ前に
 d. 意識や意⾒を尋ねる質問は、事実に関する質問より前に
 e. 同じテーマの質問はまとめて、まとまりを超える場合はその旨がわかるように
 f. 回答者の興味と熱意が持続するように、質問の内容や形式を、適宜変更 ↑
 ⾯接調査、留置調査、電話調査、… めちゃくちゃ⾯倒で
 めちゃくちゃ仮説駆動的
  71. 71. Ex. Newcastle Personality Assessor 71 5 Very unlikely
 4 Moderately unlikely
 3 Neutral
 2 Moderately likely
 1 Very likely 1. Start a conversation with a stranger 3 2. Make sure others are comfortable and happy 3 3. Use difficult words 4 4. Prepare for things in advance 4 5. Feel blue or depressed 2 6. Plan parties or social events 2 7. Insult people 3 8. Think about phillosophical or social questions 5 9. Let things get into a mess 3 10. Feel stressed or worried 2 Caluculation Score Extroversion Q1 + Q6 5 Neuroticisim Q5 + Q10 4 Conscientiousness Q4 + Q9 7 Agreeableness Q2 + Q7 6 Openness Q3 + Q8 9 https://www.theguardian.com/lifeandstyle/2009/mar/07/personality-test 単純な⾜し算でいいの?
 個⼈毎のバイアス(下駄はき)の調整は? Big5を測るための簡易なテスト
  72. 72. Copyright © ABEJA, Inc. All rights reserved. IPIP-300 — 有名なBig5計測テスト 全300問。 ⾃分でやってみたら30分弱かかった(1問5-6秒)。 ⻄洋⽂化に最適化されているっぽく、どう答えてよいかわからない質問もある • 「教会で賛美歌を歌うとき⽴ってますか」 72
  73. 73. Copyright © ABEJA, Inc. All rights reserved. ⼼理テストの課題 1. 質問の作り⽅が理論志向で恣意的すぎる
 2. 解像度を上げるためには多量の質問が必要 = 時間がかかる
 3. ⾔語能⼒や質問内容の読み取り⽅に依存する
 4. 無意識的な側⾯を測りづらい
 5. 何がよい質問かがカルチャーに依存する
 (「教会で賛美歌を歌うときに⽴ってますか」〜とか聞かれても…) 73
  74. 74. Copyright © ABEJA, Inc. All rights reserved. 感じていること 1. ちょっと踏み外してみた質問もされるべき
 2. 質問⼿順の効率性も解析されるべき
 3. アカウント管理され、⼼理テストは統合されるべき
 4. ⼼理テスト結果はもっと機械学習され、データから理論/仮説が⽣まれるべき
 5. ⼼理テストの結果は現実世界において、もっと有効活⽤されるべき 74
  75. 75. Copyright © ABEJA, Inc. All rights reserved. やりたいこと 1. ちょっと踏み外してみた質問もされるべき
 2. 質問⼿順の効率性も解析されるべき
 3. アカウント管理され、⼼理テストは統合されるべき
 4. ⼼理テスト結果はもっと機械学習され、データから理論/仮説が⽣まれるべき
 5. ⼼理テストの結果は現実世界において、もっと有効活⽤されるべき 75 潜在⼼理を探るAkinator的ななにか パーソナリティを双曲空間などへ埋め込んで観察してみる アノテーターのパーソナリティとパフォーマンスの相関 顧客⾏動データからの⾏動特性解析
  76. 76. Copyright © ABEJA, Inc. All rights reserved. やりたいこと 1. ちょっと踏み外してみた質問もされるべき
 2. 質問⼿順の効率性も解析されるべき
 3. アカウント管理され、⼼理テストは統合されるべき
 4. ⼼理テスト結果はもっと機械学習され、データから理論/仮説が⽣まれるべき
 5. ⼼理テストの結果は現実世界において、もっと有効活⽤されるべき 76 潜在⼼理を探るAkinator的ななにか パーソナリティを双曲空間などへ埋め込んで観察してみる アノテーターのパーソナリティとパフォーマンスの相関
  77. 77. Copyright © ABEJA, Inc. All rights reserved. やりたいこと 1. ちょっと踏み外してみた質問もされるべき
 2. 質問⼿順の効率性も解析されるべき
 3. アカウント管理され、⼼理テストは統合されるべき
 4. ⼼理テスト結果はもっと機械学習され、データから理論/仮説が⽣まれるべき
 5. ⼼理テストの結果は現実世界において、もっと有効活⽤されるべき 77 潜在⼼理を探るAkinator的ななにか パーソナリティを双曲空間などへ埋め込んで観察してみる アノテーターのパーソナリティとパフォーマンスの相関 そろそろ無理やり分類するのはやめて、
 データをあるがままに観察しませんか?
  78. 78. Copyright © ABEJA, Inc. All rights reserved. 双曲空間? 78
  79. 79. Copyright © ABEJA, Inc. All rights reserved. 双曲空間(Hyperbolic Spaces) ⼀定の(断⾯)曲率をもった空間
 - 曲率 < 0 → (超)球⾯
 - 曲率 = 0 → ユークリッド空間 - 曲率 < 0 → 双曲空間
 79 Tech blog http://tech-blog.abeja.asia/ - 異空間への埋め込み!Poincare Embeddingsが拓く表現学習の新展開 - 機は熟した!グラフ構造に対するDeep Learning、Graph Convolutionのご紹介 - より良い機械学習のためのアノテーションの機械学習 「異空間散歩!双曲空間を歩いてみよう。」 “⽊構造を連続化した空間” - 双曲空間でのMachine Learningの最近の進展
  80. 80. Copyright © ABEJA, Inc. All rights reserved. 双曲空間の表し⽅(座標のとり⽅)はさまざま 80 Poincaré Ballモデル
 - 可視化に優れる|
 - 外側ほど空間が密 上半空間モデル
 - 可視性に優れる
 - 下⽅ほど空間が密 Lorentz/Hyperboloidモデル
 - 最も計算が簡単なモデル
 - 数学的には⼀番簡易? https://mnick.github.io/publication/nickel2018learning/
  81. 81. Embeddings in Hyperbolic Spaces 81 [M. Nickel+]
 Poincaré Embeddings ~ 17’ 05 18’ 04 [C. D. Sa+]
 Representation Tradeoff ~
 (Near-exact tree embs., h-MDS) [O. Ganea+]
 Hyperbolic Entailment Cones
 (Poincare embs. + Order embs.) 18’ 05 [C. Gulcehre+]
 Hyperbolic Attention Networks
 (Einstein Mid. Point) [O. Ganea+]
 Hyperbolic Neural Networks [M. Nickel+]
 Learning Continuous Hierarchies
 in the Lorentz Model~ [A. Tifrea+]
 Poincaré Glove ~ (Poincaré Glove) 18’ 06 18’ 10 …19’ 2 [R. Suzuki+]
 Hyperbolic Disk Embeddings [A. Gu+]
 Mixed-Curvature 
 Representations 18’ 9
  82. 82. Embeddings in Hyperbolic Spaces 82 [M. Nickel+]
 Poincaré Embeddings ~ 17’ 05 18’ 04 [C. D. Sa+]
 Representation Tradeoff ~
 (Near-exact tree embs., h-MDS) [O. Ganea+]
 Hyperbolic Entailment Cones
 (Poincare embs. + Order embs.) 18’ 05 [C. Gulcehre+]
 Hyperbolic Attention Networks
 (Einstein Mid. Point) [O. Ganea+]
 Hyperbolic Neural Networks [M. Nickel+]
 Learning Continuous Hierarchies
 in the Lorentz Model~ [A. Tifrea+]
 Poincaré Glove ~ (Poincaré Glove) 18’ 06 18’ 10 …19’ 2 [R. Suzuki+]
 Hyperbolic Disk Embeddings [A. Gu+]
 Mixed-Curvature 
 Representations 18’ 9
  83. 83. Embeddings in Hyperbolic Spaces 83 [M. Nickel+]
 Poincaré Embeddings ~ 17’ 05 18’ 04 [C. D. Sa+]
 Representation Tradeoff ~
 (Near-exact tree embs., h-MDS) [O. Ganea+]
 Hyperbolic Entailment Cones
 (Poincare embs. + Order embs.) 18’ 05 [C. Gulcehre+]
 Hyperbolic Attention Networks
 (Einstein Mid. Point) [O. Ganea+]
 Hyperbolic Neural Networks [M. Nickel+]
 Learning Continuous Hierarchies
 in the Lorentz Model~ [A. Tifrea+]
 Poincaré Glove ~ (Poincaré Glove) 18’ 06 18’ 10 …19’ 2 [R. Suzuki+]
 Hyperbolic Disk Embeddings [A. Gu+]
 Mixed-Curvature 
 Representations 18’ 9
  84. 84. Copyright © ABEJA, Inc. All rights reserved. Poincaré Embeddings M. Nickel+, “Poincaré Embeddings for Learning Hierarchical Representations”, NeurIPS2017
 
 Poincaré ballへの埋め込み(Poincaré Embeddings)を提案し、⽊構造データを低 次元で精度良く埋め込めることを⽰した。
 
 
 共起した2データi, jの間の距離が、他の点より
 近くなるように埋め込みを最適化する 84
  85. 85. Embeddings in Hyperbolic Spaces 85 [M. Nickel+]
 Poincaré Embeddings ~ 17’ 05 18’ 04 [C. D. Sa+]
 Representation Tradeoff ~
 (Near-exact tree embs., h-MDS) [O. Ganea+]
 Hyperbolic Entailment Cones
 (Poincare embs. + Order embs.) 18’ 05 [C. Gulcehre+]
 Hyperbolic Attention Networks
 (Einstein Mid. Point) [O. Ganea+]
 Hyperbolic Neural Networks [M. Nickel+]
 Learning Continuous Hierarchies
 in the Lorentz Model~ [A. Tifrea+]
 Poincaré Glove ~ (Poincaré Glove) 18’ 06 18’ 10 …19’ 2 [R. Suzuki+]
 Hyperbolic Disk Embeddings [A. Gu+]
 Mixed-Curvature 
 Representations 18’ 9
  86. 86. Copyright © ABEJA, Inc. All rights reserved. Representation Tradeoff / h-MDS C. D. Sa, “Representation Tradeoffs for Hyperbolic Embeddings”, ICML2018 • Sarkar’s Constructionをn-次元に拡張し、任意精度で距離を保って⽊を埋込 • Poincaré Ballの縁(密度集中)部分を表現するに⾜る浮動⼩数点精度の評価 • ⼆点間距離データが与えられた場合に双曲空間への最適埋込を⾏うh-MDS • 本質的に双曲空間でのPCAを構成した(軸<—>測地線) 86 双曲空間でのPCA(接空間に移⾏してPCAをして戻すだけ)
  87. 87. Embeddings in Hyperbolic Spaces 87 [M. Nickel+]
 Poincaré Embeddings ~ 17’ 05 18’ 04 [C. D. Sa+]
 Representation Tradeoff ~
 (Near-exact tree embs., h-MDS) [O. Ganea+]
 Hyperbolic Entailment Cones
 (Poincare embs. + Order embs.) 18’ 05 [C. Gulcehre+]
 Hyperbolic Attention Networks
 (Einstein Mid. Point) [O. Ganea+]
 Hyperbolic Neural Networks [M. Nickel+]
 Learning Continuous Hierarchies
 in the Lorentz Model~ [A. Tifrea+]
 Poincaré Glove ~ (Poincaré Glove) 18’ 06 18’ 10 …19’ 2 [R. Suzuki+]
 Hyperbolic Disk Embeddings [A. Gu+]
 Mixed-Curvature 
 Representations 18’ 9
  88. 88. Copyright © ABEJA, Inc. All rights reserved. Hyperbolic Entailment Cones O. Ganea+, “Hyperbolic Entailment Cones for Learning Hierarchical Embeddings”, ICML2018 双曲空間に点として埋め込むのではなく、錐体(cone)として埋め込む⽅法
 を提案。階層関係が錐の包含関係として⾃然に表現される。 88
  89. 89. Embeddings in Hyperbolic Spaces 89 [M. Nickel+]
 Poincaré Embeddings ~ 17’ 05 18’ 04 [C. D. Sa+]
 Representation Tradeoff ~
 (Near-exact tree embs., h-MDS) [O. Ganea+]
 Hyperbolic Entailment Cones
 (Poincare embs. + Order embs.) 18’ 05 [C. Gulcehre+]
 Hyperbolic Attention Networks
 (Einstein Mid. Point) [O. Ganea+]
 Hyperbolic Neural Networks [M. Nickel+]
 Learning Continuous Hierarchies
 in the Lorentz Model~ [A. Tifrea+]
 Poincaré Glove ~ (Poincaré Glove) 18’ 06 18’ 10 …19’ 2 [R. Suzuki+]
 Hyperbolic Disk Embeddings [A. Gu+]
 Mixed-Curvature 
 Representations 18’ 9
  90. 90. Copyright © ABEJA, Inc. All rights reserved. Disk Embeddings R. Suzuki+, “Hyperbolic Disk Embeddings for Directed Acyclic Graphs”, ICML2019 Hyperbolic Entail Coneが実は双曲空間の特性を活⽤できておらず、本質的にn次 元超球⾯におけるn-1次元超球⾯としての埋め込みになっていることを⾒抜いた。
 その上で、双曲空間において正しく超球⾯として埋め込む⼿法を提案。 任意のDAGが超球⾯、双曲空間、ユークリッド空間
 に統⼀的に埋め込めるようになった! 90
  91. 91. Embeddings in Hyperbolic Spaces 91 [M. Nickel+]
 Poincaré Embeddings ~ 17’ 05 18’ 04 [C. D. Sa+]
 Representation Tradeoff ~
 (Near-exact tree embs., h-MDS) [O. Ganea+]
 Hyperbolic Entailment Cones
 (Poincare embs. + Order embs.) 18’ 05 [C. Gulcehre+]
 Hyperbolic Attention Networks
 (Einstein Mid. Point) [O. Ganea+]
 Hyperbolic Neural Networks [M. Nickel+]
 Learning Continuous Hierarchies
 in the Lorentz Model~ [A. Tifrea+]
 Poincaré Glove ~ (Poincaré Glove) 18’ 06 18’ 10 …19’ 2 [R. Suzuki+]
 Hyperbolic Disk Embeddings [A. Gu+]
 Mixed-Curvature 
 Representations 18’ 9
  92. 92. Copyright © ABEJA, Inc. All rights reserved. Mixed-Curvature Representations A. Gu+, “Learning Mixed-Curvature Representations in Product Spaces”, ICLR2019 ユークリッド空間、超球⾯、双曲空間の積空間への埋め込みを構成することで、 より⾃由な曲率の空間への埋め込みを実現。データ中に潜む平⾯構造、サイクル 構造、⽊構造が埋め込みを通じて抽出できるようになった。
 ユークリッド空間、超球⾯、双曲空間
 の曲率スケール⾃体も最適化する。 92
  93. 93. Copyright © ABEJA, Inc. All rights reserved. データの構造をみる ↓ 最適なデータの埋め込みを求める
 ↓ 最適な空間への最適な埋め込みを求める 93
  94. 94. Copyright © ABEJA, Inc. All rights reserved. Personality Embeddings A. Gu+, “Learning Mixed-Curvature Representations in Product Spaces”, ICLR2019 ユークリッド空間、超球⾯、双曲空間の積空間への埋め込みを構成することで、 より⾃由な曲率の空間への埋め込みを実現。データ中に潜む平⾯構造、サイクル 構造、⽊構造が埋め込みを通じて抽出できるようになった。
 ユークリッド空間、超球⾯、双曲空間
 の曲率スケール⾃体も最適化する。 ⼼理学でこれをやりたい! …が、空間の組み合わせを
  逐次探索するのはつらい
  95. 95. Copyright © ABEJA, Inc. All rights reserved. 数学/ML観点で気になってること さまざまな空間をなめらかにパラメトライズする⽅法が知りたい • 双曲空間・超球⾯ごとには曲率はなめらかにパラメトライズされているが、双 曲空間やユークリッド空間、超球⾯をなめらかに接続する表現は知らない • 積空間では空間がシンプルすぎる(世界はトイレットペーパーの芯程度の単純 さではないはず) そもそも空間(の計量?)をパラメトライズする必要はあるのか • 計算上必要なのは勾配情報(更新⽅法)だけ • 勾配情報だけを適切にパラメータ付する⽅法は?(cf. LambdaRank, NODE) 95
  96. 96. Copyright © ABEJA, Inc. All rights reserved. To be continued 96
  97. 97. Copyright © ABEJA, Inc. All rights reserved. おまけ 97
  98. 98. Ekmanの基本6感情と表情 エクマンは感情には⽂化共通的な下記の基本6感情があり、表情から各感情を読 むことができると主張した。 1. Anger(怒り) 2. Disgust(嫌悪) 3. Fear(恐れ) 4. Happiness(幸福) 5. Sadness(悲しみ) 6. Surprise(驚き) 7. (Neutral) 98 https://howwegettonext.com/silicon-valley-thinks-everyone-feels-the-same-six-emotions-38354a0ef3d7
  99. 99. 基本6感情理論に対する3つの反論 “AI believes we express emotions the same six ways ‒ That is a problem” 
 https://thebigsmoke.com.au/2019/04/28/ai-believes-we-express-emotions-same-six-ways-that-problem-emotion/ 1. 感情の定義⾃体、合意がとれていない
 2. Ekmanのパプアニューギニアでの調査⾃体ずさん(sloppy)。すでに⻄洋の影響 を受けてしまっていたらしい。
 3. ⼈ごとに異なる“基本感情”がある(⽂化的な相違) 99
  100. 100. 表情はコミュニケーションツール! C. Crivelli+, “Facial Displays Are Tools for Social Influence”, Trends in Cognitive Sciences 2018 100
  101. 101. ⼀⽅で、ほとんどの表情からの感情推定アプリは
 多かれ少なかれEkman流 • API A • 怒り、軽蔑、嫌悪、恐れ、幸福、悲しみ、驚き、ニュートラル • API B • 喜び、悲しみ、怒り、驚き • API C, D • 怒り、嫌悪、恐れ、幸福、悲しみ、驚き、ニュートラル • API E • 喜び、怒り、驚き、ポジネガ 101
  102. 102. ⽇本⼈もEkman的ではない! W. Sato+, “Facial Expressions of Basic Emotions in Japanese Laypeople”, Frontiers in Psychology 2019 102https://academist-cf.com/journal/?p=10185
  103. 103. Copyright © ABEJA, Inc. All rights reserved. もっと最新の研究成果を
 実⽤に反映させなきゃ! 103
  104. 104. Copyright © ABEJA, Inc. All rights reserved. Conclusion
 ヒトの解析楽しい 104
  105. 105. 105 Annotation Driven AI

×