カラビナテクノロジーで発表したLTのdeeplearningの資料です。 AlexNetをチューニングし,10層のネットワークで10次元のベクトルを作りました。

1. DeepLearningと髪型のレコメンドへの応用
九州大学芸術工学部
芸術情報設計学科 2年
西村 太一

2. 自己紹介
元はwebアプリのバックエンド,最近はほとんど機械学習,人工
知能の勉強. Python, Common Lispが好き.
大学ではCG,メディアアート系が多い.
流鏑馬VR(Unity5, Kinect, Oculus Rift)
Three.jsによるWebGL3D迷路ゲーム
音楽が好き. 人工知能を使った自動作曲システムや,Twitterの
#NowPlayingを解析したバンドアーティストの推薦システムなど.

3. Deep Learningとは?機械学習?
• 機械学習,DeepLearningという言葉が流行っているのは知っ
ているが,どういう仕組みなのか? そもそも機械が「学習する」
とは?

4. 全結合ニューラルネットワーク..人の脳を模したモデル
前の層のデータが,次の層へ
と重みを介して伝搬していく。
ノードについて,各重みを以下
の式で伝搬する。
この2つを最後の層まで繰り
返して伝搬する。
DeepLearningとは,この層
が深くなったものである。

5. 細部を拡大
一つ一つはよく見てみるとこのような
形で前のノードから結合していく。
y=w1x1 +w2x2 +...wnxn +b
y = wi xi +b
n
å

6. 細部を拡大(2)
活性化関数によって,ニューロンの発火/非発火の状態を表現する。
f(x)
シグモイド関数,tanh関数 よく利用されるReLU関数

7. 全体をもう一度
これで一番奥のノー
ドまで到達できた。

8. 一番奥で何が起こっているのか..誤差の計算
0.3
0.7
0
1.0
あらかじめつけておいた教師データと,
ノードが出した結論についてそれぞ
れ比較して,誤差を算出する。
E =
1
2
(zn -tn )2
n
å
二乗誤差を計算する
この誤差を最小にするように,ノード間の重みを
調節していく

9. How?😇
E =
1
2
(zn -tn )2
n
å

10. 誤差逆伝搬法と勾配降下法👀

11. 勾配降下法..重みを小さい方向へ進める
解析的に解くことが困難な関
数に対して,勾配を求めること
によって解を動かし,
より式が小さくなる方向へと
解を動かしていくアルゴリズ
ム。
「傾き」がデータとしてほしい…!
(偏)微分
new_wij = wij -h
¶E
¶wij

12. 誤差逆伝搬法..重みの微分を求める
ニューラルネットワークは合成関数を深く
深くしていったもので,合成関数のそれぞれが
微分可能であった場合,全体としても微分が可
能である。
(1)誤差を受けて,一番奥の一つ前の層と,一
番奥の層の微分の求め方
(2)さらにその一つ前の層への逆伝搬
¶E
¶w
=
¶E
¶z3
¶z3
¶y3k
å
¶y3
¶z2
¶z2
¶y2
¶y2
¶w
よく見ると,二項目まで共通
誤差の疑似信号を後ろから前へ
流していき,微分を高速演算!
¶E
¶wlatest
=
¶E
¶z3
¶z3
¶y3
¶y3
¶wlatest

13. まとめ
ニューラルネットワークは脳の様子をそのまま
数式とグラフで表現したモデル
入力にデータを入れて,正解データとの誤差を
算出する
その誤差を最小にするためのアルゴリズムが,
勾配降下法
勾配降下法を利用するために必要なデータが
微分(傾き)で,微分を求めるのが誤差逆伝搬法

14. • 画像系で幅広く使われるニューラルネットワークが存在する。
それが畳み込みニューラルネットワーク
• 畳み込み層とプーリング層を繰り返すことで,データの特徴を
よりよく反映させた「特徴マップ」を作っていく。
• 詳細は省くが,より奥の層に行くにつれて,内部構造を獲得して
いく様子がわかる
畳み込みニューラルネットワーク

15. 層ごとに内部構造を獲得していく様
子

16. 実際に作成

17. 顔を見て髪型をおすすめできるのでは?

18. ヘアカタログを見てもどれがいいかわからん
• (仮説)顔によってその人にあった髪型というものが分かるので
はないだろうか..?
• 従来の手法では難しいかもしれないが,DeepLearningなら可
能かも?
• 今回は髪型が比較的豊富な女性でやってみよう。
Hotpepperbeauty,楽天beautyからクローリングし,手作業で(死ぬかと思った)
髪型ごとにラベルに分割。結果,以下の10ラベルとなった。
各データは回転させたり,反転させ
たりで8倍ほどに拡張
(DeepLearningでとても大事!,
データ量に依存するため)

19. ネットワークの構成(10層のネットワーク)
畳み込み層
プーリング層
畳み込み層
プーリング層
全結合×4
出力(10ラベル)
AlexNetという8層の有名なニューラル
ネットワークを,層を入れ替えたり全結合
層を増やしたりして構築。
Chainerという有名なPythonの
DeepLearning用ライブラリを利用して作
成。
出力して出てきた10ラベルの値を,内部状
態をよく表現したベクトルとしてみることで,
ベクトル間の距離が小さい画像をユーザ
におすすめとして返すことに。

20. ユークリッド距離の補足(２次元データ)
二次元なら,二点の距離は座標の差の二乗
の和の平方根で求めることができる。
次元が上がっても同様にベクトル同士の距
離を取ることが可能(今回は１０次元)

21. 学習結果
訓練データ テストデータ

22. 芸能人は?
• 本田翼ちゃんでやってみた。
• 茶髪のショートが印象的
• まぁそうだよねという結果に。
入力 おすすめ

23. まとめ
• あと数人に使ってもらったが,「どっちにしようか悩んでいたところ
を背中を押してくれる」という評価をいただきました。
• Deep Learningは面白い。単純に複雑なタスクをこなせるだけで
なく,まるで生き物と対峙しているかのような気分になる。
• 個人的にはLispでChainerライクなDeep Learningライブラリを
作ってみたい。Deep Learningに限らず機械学習全体をしっかり
勉強をしてこうと思う。最新の論文も追いたいし,追えるよう勉強
に励もうと思う。

24. ご静聴ありがとうございました!