SlideShare a Scribd company logo
演繹という幻想
数学をする力学系
ラマヌジャンマシーン
@mat______h_____
• 今日は、数学をする機械をお見せします。
私の好きな数学
物理
重力
量子論
私の生活
• P****社に勤務
• 家→徒歩→Deep Learning(動画系)→徒歩→家
もし数学をする機械があったら?
いや、ありそう。だって、
「人工知能が仕事を奪う」
数学をする <<< 仕事を奪う
なんいど
もし数学をする機械があったら…
実際に動いているところを見てみたい
一家に一台欲しい
動いているところをこじあけて中を覗きたい
数学をする機械は実在する
↓ ↓ ↓ ↓ ↓無料ダウンロードはこちら☆彡↓ ↓ ↓ ↓ ↓
https://github.com/wojciechz/learning_to_execute
↑ ↑ ↑ ↑ ↑無料ダウンロードはこちら☆彡↑ ↑ ↑ ↑ ↑
“learning to execute”
2014年に2人で開発(当時Google→現在OpenAI)
イリヤ → Alpha碁などに貢献
ヴォイチェフ → 国際数学オリンピック銀
photos taken from Wikipedia, twitter
なんと
9桁までの数字の四則演算
(かっこを含んでいてもよい)
を99%の精度で計算
ん?
電卓との違い
• 電卓は抽象概念の操作をしてくれない
①問題(式)の認識
②入力の実行
③結果の記憶と解釈
④入念に設計された計算命令
Image by PngTree
ひっ算 – 抽象概念(規則)の演繹的適用
19
+38
ーーー
17
1
3
ーーー
58
①数字は桁をそろえて書く
②「1の位」という概念があり、
そこから左に向かって計算する
③繰り上がりという概念
④最後に「10の位」という概念
に対して足し算
分配法則 – 抽象概念(規則)の演繹的適用
(2+3)x 4=2 x 4 + 3 x 4=8 + 12=20
or
=5 x 4
=20
③かっこの中の足し算は
掛け算より先に実行してよい
①それぞれに掛けて
展開する
②掛け算の後に
足し算を実行する
まとめ
四則演算は、
抽象規則から演繹される
本当に?
この機械がすること=演繹=帰納
1+1=2
こうきたら こう
12+23=?
こうきたら?
12+23=3
こうきたら ここはたぶん3で…
12+23=35
こうきたら こう!
Point
• 教師データがなぜそうなっているかの
理由(数学的意味)は知らされない
• 強いて言えば、確率的位置相関を学習
1桁め=1 and 1+n桁目=2 and
2n桁目=“=“
のときは
1+2n桁目=3の確率が約90%
である…など。
12+23=35
6789+4532=
12+23=35
6789+4532=11321
こうきたら こう
12+23=35
6789+4532=11321
(2+3)x4=20
こうきたら こう
12+23=35
6789+4532=11321
(2+3)x4=20
x=9930;x=x-4369x10;
(x-8043)+9955) =?????
こうきたら????
12+23=35
6789+4532=11321
(2+3)x4=20
x=9930;x=x-4369x10;
(x-8043)+9955) =-36217
こうきても こう
パラダイムシフト
• 2項演算とは、単にR^3の部分集合に過ぎない
• Set_+ = {(1,1,2), (1,2,3), (2,3,5), …}
• この集合全てを再現できる機械同士は区別できない。
ということは、どちらの実装が優れているかという話
1. 演繹的実装:間違えない。決まったことしか出来ない
例) 電卓
2. 帰納的実装:時々間違えるが、無限に精度を向上可能
例) learning to execute
永遠学習
• 教師データとなる式が、コンピューターで無限に生成可能
• あらゆる数式に対応可能(例えばTeXでも可)
すなわち、帰納的実装には、演繹的実装にある
「あらかじめ決められた限界」が無い
理論
力学系
• 力学系とは方程式によって時間変化するベクトル空間
• 数学的定式化は φ: G x M → M(半群の左作用)
• 更新φとは、400次元での行列の積や非線形関数適用
M=(h, c, f, i, g, o)
各々400次元
実数ベクトル
計2400次元
実数ベクトル
M=(h, c, f, i, g, o)の更新ルール
意味 更新後の値
h Hidden(隠れ変数) o ⦿ tanh(c)
c Cell(記憶) forget ⦿ c(t-1) + i ⦿ g
f Forget(忘却) f(F・h(t,l-1) + F・h(t-1, l))
i Input(入力) f(I・h(t,l-1) + I・h(t-1, l))
g InputGate(入力制限) tanh(G・h(t,l-1) + G・h(t-1, l))
o OutputGate(出力制限) f(O・h(t,l-1) + O・h(t-1, l))
F・I・G・O = matrix(400x800)
⦿ = elementwise multiplication
50x2=100個複製し、入力と出力を結合
x50
学習方法
• F・I・G・Oの4行列、800x400x4x2=256万個の数を乱数初期化
• パラメータシェアリングにより、x50はしない
• Back propagationにより最適化
• 目安は10万回程度の学習
• パラメータの更新回数=256万x10万=0.256兆回程度
• (技術的には、Adam・Teacher Forcing・Carriculum Learningを
適用するため、もっと複雑)
実験
学習開始直後
学習中…
気の遠くなるような時間が経過
注目
Result
• 2桁なら正答率9割超えは行けた
• 9桁正答させるには時間がかかりそう
動作解説:(2 + 3) x 4の場合
Update: c(t-1)
古いcを保存
(各々400次元ベクトル
合計40000次元)
Update: f,i,g,o(layer=1)
(
1文字目の情報を与える
(400次元に埋め込み)
Update: c,h(layer=1)
(
Update: f,i,g,o(layer=2)
(
Update: c,h(layer=2) h=“(”
(
(
hidden出力が
1文字目と等しくなる
(記憶現象の確認)
Update: f,i,g,o,c,h(layer=3,4)
(
( 2
2
2文字目でも記憶現象
1文字目は4cellに記憶
(動的Encoding)される
(1600次元+時間変化)
Update: f,i,g,o,c,h(layer=9,10…,20)
(
( 2 + 3 ) X4=20
2 + 3 )
入力していない答えが
出力される
(cell,hiddenの伝播)
「(2+3)x4=」は、
20cellに記憶
(8000次元+時間変化)
定理へ
• a+b=cは3次元集合、(a+b)xc=dは4次元集合
• (a+b)xc=dxe+fxgは7次元集合
• 低次元多様体として、ある程度簡単な「定理」は学習可能
• この方法であらゆる「定理」が学習できるとしたら?
まとめ
以上より、
• 抽象的概念を形成しない
• 演繹や手続き的計算をしない
でも、計算が可能であることが示された。
では、我々がしている演繹的な数学とは何なのだろうか?
9999+1=?????
99999999+1=?????
問:たかしくんは560円の
お弁当、130円のバナナ3本、
160円のコーラを1本
買いました。
全部でいくらでしょう?
答:大体1000円ちょい
560+(130x3)+160
=1???
我々は今、何をしたのか?
演繹という幻想
• そもそも、数学は大量の例から本質を帰納したもの
• バートランド・ラッセル
「2日の2と2匹のキジの2が同じ2であることに
人類が気付くまでに、限りない年月が必要であった」
• 帰納的・直感的な計算は答えは合うが、理由は分からない
photo : Wikipedia
Q: 素晴らしい定理です。
どう証明したのですか?
A: 証明とは何でしょうか。
夢で女神に教わったのです
ハーディ
「明らかに間違っていたり
証明不可能な定理がある」
photo : Wikipedia
私は家のマシンを
「ラマヌジャン1号」と名付け
今も動かし続けている
いつかそれが
「定理」を語りだすことを
夢見て・・・
(終)

More Related Content

Featured

Skeleton Culture Code
Skeleton Culture CodeSkeleton Culture Code
Skeleton Culture Code
Skeleton Technologies
 
PEPSICO Presentation to CAGNY Conference Feb 2024
PEPSICO Presentation to CAGNY Conference Feb 2024PEPSICO Presentation to CAGNY Conference Feb 2024
PEPSICO Presentation to CAGNY Conference Feb 2024
Neil Kimberley
 
Content Methodology: A Best Practices Report (Webinar)
Content Methodology: A Best Practices Report (Webinar)Content Methodology: A Best Practices Report (Webinar)
Content Methodology: A Best Practices Report (Webinar)
contently
 
How to Prepare For a Successful Job Search for 2024
How to Prepare For a Successful Job Search for 2024How to Prepare For a Successful Job Search for 2024
How to Prepare For a Successful Job Search for 2024
Albert Qian
 
Social Media Marketing Trends 2024 // The Global Indie Insights
Social Media Marketing Trends 2024 // The Global Indie InsightsSocial Media Marketing Trends 2024 // The Global Indie Insights
Social Media Marketing Trends 2024 // The Global Indie Insights
Kurio // The Social Media Age(ncy)
 
Trends In Paid Search: Navigating The Digital Landscape In 2024
Trends In Paid Search: Navigating The Digital Landscape In 2024Trends In Paid Search: Navigating The Digital Landscape In 2024
Trends In Paid Search: Navigating The Digital Landscape In 2024
Search Engine Journal
 
5 Public speaking tips from TED - Visualized summary
5 Public speaking tips from TED - Visualized summary5 Public speaking tips from TED - Visualized summary
5 Public speaking tips from TED - Visualized summary
SpeakerHub
 
ChatGPT and the Future of Work - Clark Boyd
ChatGPT and the Future of Work - Clark Boyd ChatGPT and the Future of Work - Clark Boyd
ChatGPT and the Future of Work - Clark Boyd
Clark Boyd
 
Getting into the tech field. what next
Getting into the tech field. what next Getting into the tech field. what next
Getting into the tech field. what next
Tessa Mero
 
Google's Just Not That Into You: Understanding Core Updates & Search Intent
Google's Just Not That Into You: Understanding Core Updates & Search IntentGoogle's Just Not That Into You: Understanding Core Updates & Search Intent
Google's Just Not That Into You: Understanding Core Updates & Search Intent
Lily Ray
 
How to have difficult conversations
How to have difficult conversations How to have difficult conversations
How to have difficult conversations
Rajiv Jayarajah, MAppComm, ACC
 
Introduction to Data Science
Introduction to Data ScienceIntroduction to Data Science
Introduction to Data Science
Christy Abraham Joy
 
Time Management & Productivity - Best Practices
Time Management & Productivity -  Best PracticesTime Management & Productivity -  Best Practices
Time Management & Productivity - Best Practices
Vit Horky
 
The six step guide to practical project management
The six step guide to practical project managementThe six step guide to practical project management
The six step guide to practical project management
MindGenius
 
Beginners Guide to TikTok for Search - Rachel Pearson - We are Tilt __ Bright...
Beginners Guide to TikTok for Search - Rachel Pearson - We are Tilt __ Bright...Beginners Guide to TikTok for Search - Rachel Pearson - We are Tilt __ Bright...
Beginners Guide to TikTok for Search - Rachel Pearson - We are Tilt __ Bright...
RachelPearson36
 
Unlocking the Power of ChatGPT and AI in Testing - A Real-World Look, present...
Unlocking the Power of ChatGPT and AI in Testing - A Real-World Look, present...Unlocking the Power of ChatGPT and AI in Testing - A Real-World Look, present...
Unlocking the Power of ChatGPT and AI in Testing - A Real-World Look, present...
Applitools
 
12 Ways to Increase Your Influence at Work
12 Ways to Increase Your Influence at Work12 Ways to Increase Your Influence at Work
12 Ways to Increase Your Influence at Work
GetSmarter
 
ChatGPT webinar slides
ChatGPT webinar slidesChatGPT webinar slides
ChatGPT webinar slides
Alireza Esmikhani
 
More than Just Lines on a Map: Best Practices for U.S Bike Routes
More than Just Lines on a Map: Best Practices for U.S Bike RoutesMore than Just Lines on a Map: Best Practices for U.S Bike Routes
More than Just Lines on a Map: Best Practices for U.S Bike Routes
Project for Public Spaces & National Center for Biking and Walking
 
Ride the Storm: Navigating Through Unstable Periods / Katerina Rudko (Belka G...
Ride the Storm: Navigating Through Unstable Periods / Katerina Rudko (Belka G...Ride the Storm: Navigating Through Unstable Periods / Katerina Rudko (Belka G...
Ride the Storm: Navigating Through Unstable Periods / Katerina Rudko (Belka G...
DevGAMM Conference
 

Featured (20)

Skeleton Culture Code
Skeleton Culture CodeSkeleton Culture Code
Skeleton Culture Code
 
PEPSICO Presentation to CAGNY Conference Feb 2024
PEPSICO Presentation to CAGNY Conference Feb 2024PEPSICO Presentation to CAGNY Conference Feb 2024
PEPSICO Presentation to CAGNY Conference Feb 2024
 
Content Methodology: A Best Practices Report (Webinar)
Content Methodology: A Best Practices Report (Webinar)Content Methodology: A Best Practices Report (Webinar)
Content Methodology: A Best Practices Report (Webinar)
 
How to Prepare For a Successful Job Search for 2024
How to Prepare For a Successful Job Search for 2024How to Prepare For a Successful Job Search for 2024
How to Prepare For a Successful Job Search for 2024
 
Social Media Marketing Trends 2024 // The Global Indie Insights
Social Media Marketing Trends 2024 // The Global Indie InsightsSocial Media Marketing Trends 2024 // The Global Indie Insights
Social Media Marketing Trends 2024 // The Global Indie Insights
 
Trends In Paid Search: Navigating The Digital Landscape In 2024
Trends In Paid Search: Navigating The Digital Landscape In 2024Trends In Paid Search: Navigating The Digital Landscape In 2024
Trends In Paid Search: Navigating The Digital Landscape In 2024
 
5 Public speaking tips from TED - Visualized summary
5 Public speaking tips from TED - Visualized summary5 Public speaking tips from TED - Visualized summary
5 Public speaking tips from TED - Visualized summary
 
ChatGPT and the Future of Work - Clark Boyd
ChatGPT and the Future of Work - Clark Boyd ChatGPT and the Future of Work - Clark Boyd
ChatGPT and the Future of Work - Clark Boyd
 
Getting into the tech field. what next
Getting into the tech field. what next Getting into the tech field. what next
Getting into the tech field. what next
 
Google's Just Not That Into You: Understanding Core Updates & Search Intent
Google's Just Not That Into You: Understanding Core Updates & Search IntentGoogle's Just Not That Into You: Understanding Core Updates & Search Intent
Google's Just Not That Into You: Understanding Core Updates & Search Intent
 
How to have difficult conversations
How to have difficult conversations How to have difficult conversations
How to have difficult conversations
 
Introduction to Data Science
Introduction to Data ScienceIntroduction to Data Science
Introduction to Data Science
 
Time Management & Productivity - Best Practices
Time Management & Productivity -  Best PracticesTime Management & Productivity -  Best Practices
Time Management & Productivity - Best Practices
 
The six step guide to practical project management
The six step guide to practical project managementThe six step guide to practical project management
The six step guide to practical project management
 
Beginners Guide to TikTok for Search - Rachel Pearson - We are Tilt __ Bright...
Beginners Guide to TikTok for Search - Rachel Pearson - We are Tilt __ Bright...Beginners Guide to TikTok for Search - Rachel Pearson - We are Tilt __ Bright...
Beginners Guide to TikTok for Search - Rachel Pearson - We are Tilt __ Bright...
 
Unlocking the Power of ChatGPT and AI in Testing - A Real-World Look, present...
Unlocking the Power of ChatGPT and AI in Testing - A Real-World Look, present...Unlocking the Power of ChatGPT and AI in Testing - A Real-World Look, present...
Unlocking the Power of ChatGPT and AI in Testing - A Real-World Look, present...
 
12 Ways to Increase Your Influence at Work
12 Ways to Increase Your Influence at Work12 Ways to Increase Your Influence at Work
12 Ways to Increase Your Influence at Work
 
ChatGPT webinar slides
ChatGPT webinar slidesChatGPT webinar slides
ChatGPT webinar slides
 
More than Just Lines on a Map: Best Practices for U.S Bike Routes
More than Just Lines on a Map: Best Practices for U.S Bike RoutesMore than Just Lines on a Map: Best Practices for U.S Bike Routes
More than Just Lines on a Map: Best Practices for U.S Bike Routes
 
Ride the Storm: Navigating Through Unstable Periods / Katerina Rudko (Belka G...
Ride the Storm: Navigating Through Unstable Periods / Katerina Rudko (Belka G...Ride the Storm: Navigating Through Unstable Periods / Katerina Rudko (Belka G...
Ride the Storm: Navigating Through Unstable Periods / Katerina Rudko (Belka G...
 

On lt e_20181003