リクルートはいかにして、ディープラーニング（深層学習）の導入を成功させたか

リクルートはいかにして、
ディープラーニング（深層学習）の
導入を成功させたか
株式会社リクルートテクノロジーズ
ITソリューション統括部ビッグデータプロダクト開発G
白井祐典

2Copyright © Recruit Technologies Co., Ltd. All Rights Reserved.
発表の前に
本日のお話は、Deep Learningの中でも
画像解析がメインの話となります。
今回のタイトルから、Deep Learningの導入
の過程の話がメインであり、導入が最も進んで
いるのが画像解析であるためです。
テキスト解析等にも着手しておりますが、
その話は本日出てきませんのでご了承ください。

目次
リクルートについて1
Deep Learningに取り組んだ背景2
Convolutional Neural Net[CNN]の概要と物体認識3
CNNの適用事例紹介４
CNN導入を成功させるための重要な要因５
まとめ６

１リクルートについて

リクルートのビジネスモデル
様々なドメインでマッチングモデルに基づいたビジネスを展開
Matching
Business
HR
Bridal
Group
Buying
Used
Cars
Travel
Real
Estate
Beauty Gourmet
Social Games
E-Commerce
Ad Network
New Business
Consumers Enterprise

リクルートの事業領域
「選択」をサポートするような情報サービスを展開
Life event area Lifestyle Area
Travel
IT/ TrendLifestyle
Health & Beauty
Job Hunt
Marriage
Job Change
Home Purchase
Car Purchase
Child Birth
Education

Infrastructure
Large project
promotions
UI design/SEO
Big Data
Department
Technology R&D
IT Promotion
リクルートテクノロジーズの立ち位置
リクルートホールディングスは7つの主要事業会社と３つの機能会社から成り立っている。
Recruit
Holdings
Recruit Career
Recruit Sumai Company
Recruit Lifestyle
Recruit Jobs
Recruit Staffing
Recruit Marketing Partners
Staff service Holdings
Recruit Technologies
Recruit Administration
Recruit Communications
Operation
Service

２ Deep Learningに
取り組んだ背景

Deep Learningは後からフィットした
僕らはDeep Learningをやるぜ！！と
決めてDeep Learningを始めた訳ではありません
Deep Learningはあくまで手段です
基本ですが、手段は目的を達成するために存在します
マッチングの最適化という目的を達成するため、
非構造データを扱いました。その中で
Deep Learningがフィットすることが分かり
徐々に利用するようになっていきました

ビッグデータの概念
Volume
データ量
データの多様性
Variety
Velocity
データの発生頻度
ビッグデータの定義で示されるデータの多様性に注目。

非構造データの活用がまだまだ
 原稿情報
 営業日報
 議事録
 位置情報
 商品・店舗画像
etc
今までビッグデータ部で扱う対象のデータは、
行動履歴やデモグラ情報など比較的扱いやすいデータがメイン
リクルート内には数多くの
非構造データが存在。
ただ、貯めるというだけでもコスト。
これを活用して、何か価値を生み出す
ことができないかと考えたのが最初

画像は今どう使われている？
リクルートは各事業ドメインにおいてさまざまな画像を大量に保持している。
・この画像はなんのために用いられているのか？
各事業ドメインにおいて、商材のイメージを伝えるために存在しており、
解析の対象にはまだなっていない。
画像はカスタマに直観的に情報を与える上で最高の情報。
これを解析に利用すれば、マッチングを更に高精度化できるはず！[目的]

いざ、画像データの解析へ
R-Stage Dev-Stage β-Stage 運用-Stage
 技術要素調査
 技術の実態を
把握する
 効果的な仕組み
としてプレ実装
 活用方法をさら
に開拓
 正式にフィジビリ
ティスタディとして
推進～展開をする
 実運用へ
Gate Review
まずは基本技術の調査・検証
人・モノを最小構成にしたスモールスタート
2013年にスタート3
年前くらい

画像データの解析の始まり
「Cifar-10」という、共通のベンチマークデータを使った
精度競争の中の、論文のコードを実装してみるところからスタート

画像データの解析の始まり
今では、Deep Learningが独占しているが、
当時(2013年頭)は、neural netの層が小さいものとか、sparce
coding+SVMとかが入り乱れていた
また、caffeなどのOSSもまだあまり利用例がない
Deep Learningという言葉は知っていたが、
お金と時間の都合上、まずは実装しやすそうな
sparce coding + SVMで画像解析をやってみる。
「Cifar-10」という、共通のベンチマークデータを使った
精度競争の中の、論文のコードを実装してみるところからスタート

Sparce Coding
K-means,
Sparse Coding,
OMP,
RBM,
Auto Encoder…
このベクトルに、教師ラベルを合わせて、
SVMでクラス判定＝物体認識を実施

把握する
に開拓
 実運用へ
Gate Review
色々な事業向けのデモを作って感触を確かめる。
ホットペッパービューティからやりたいと言っていただき、
まずはR&D費用としてフィジビリティスタディを実施。
2年前くらい
奮闘記：「リクルートにおける画像解析事例紹介」でご紹介しております

Caffeの登場とGPUサーバー利用
×
他社利用実績がある
OSSの登場
導入実績を作ることでの
お金の確保ができてGPU
サーバーの利用開始

精度とスピードが加速度的に増加
精度
5X.XX%
8X.XX%
処理速度
鈍行
新幹線
CPU VS GPU
GPUが6~10倍くらい早い

鈍行
精度とスピードが加速度的に増加
5X.XX%
8X.XX%
ノゾミ
CPU VS GPU
GPUが6~10倍くらい早い
精度
処理速度
実施案件の完成度と実装速度が増し、
実績作成の速度がグンと増した
技術の磨き込みや
実装ノウハウの蓄積が加速

把握する
に開拓
 実運用へ
Gate Review
溜まったノウハウによる安定したサービス提供の目処が立ち、
いざ実導入へ！！
イマココ

３ CNNの概要と物体認識

 Convolutional Neural Network (CNN)は画像解析に特化したDeep Learning
の手法の一種
 入力画像上でパッチ(局所画像)を滑らせ、パッチからの特徴量抽出（Convolution）
と近くのパッチ同士での特徴量のまとめ上げ（Pooling）を繰り返し、最終的に得られた
特徴量をもとに画像のラベルを予測する。
Convolutional Neural Network
P (野球)
P (サッカー)
P (カバディ)
繰り返し
すべての特徴量
を連結し使用
Convolution層 Pooling層ベクター Predict
画像に映っているものが何かを特定する
=物体認識を実施

物体認識
正解ラベル付きの画像を大量に学習し、
未知の画像に何が映っているかを特定する
ベクトル化
ベクトル化
ベクトル化
ベクトル化
野球ゾーン
サッカーゾーン
まとめる
ベクトル化
学習予測
予測モデル
サッカーゾーンに近い。
サッカーなのでは！と特定
予測モデル
未知の画像

ベクトル変換方法

各フェーズの説明

CNNの概要
・
・
・画像
：パッチ
（局所画像）
入力層
・・・
・・・
隠れ層1
・・・
・・・
・・・
・・・
・・・
・・・
・
・
・
・・・
・・・
隠れ層2
・・・
・・・
・・・
・・・
・・・
・・・
・
・
・
：重み
・
・
・
・
・
・
・
・
Softmax
関数など
出力層
サッカー
確率XX%
野球
確率XX%
カバディ
確率XX%

4 CNNの適用事例紹介

カーセンサーにおける内装色検索機能
事例紹介

内装色判別機能とは
内装色の指定画面
茶色
黒
内装色で絞り込み検索が可能

内装色判別フロー
外装
ハンドル
カーナビ
内装
・
・
・
1物件の中古車画像群
（約20枚）
１
２
３
４
タイヤ
５
４
内装画像を判定
黒
赤
シートの色を抽出して
タグを付与する

内装色判別フロー（内装画像の特定）
…
…
…
CNNで作成した
内装判別モデル
外装
ハンドル
カーナビ
内装
・
・
・
1物件の中古車画像群
（約20枚）
１
２
３
１：0.02%
2 ：7.84%
3 ：1.39%
4 ：97.3%
5 ：0.17%
各画像の内装確率
・
・
・
４
タイヤ
５
４
を内装画像と断定！

内装色判別フロー（CNNの学習）
内装画像の判定にCNNを利用
外装
ラベル名画像例
内装
トランク
ダッシュ
ボード
その他
学習枚数
約3500枚
約2000枚
約1000枚
約1000枚
約2500枚
予測精度
内装 or not
90.2%

内装色判別フロー（内装色の特定1）
①内装色を縦横50%削除
25%削除
削除削除
削除
②50%削除画像からRGB値取得
[244,238,229], [244,238,228], [243,233,231]・・・
[233,253,233], [244,238,229], [242, 232,227]・・・
・
・
・
③RGB値に対しK-means

内装色判別フロー（内装色の特定2）
④K-meansの平均RGB値算出
グループ
番号
R G B
1 0 0 0
2 225 0 3
・・・・・・・・・・・・
・・・・・・
0, 64, 64 others
160, 0, 0 red
128, 0, 32 red
128, 32, 0 brown
96, 0, 64 others
96, 64, 0 kyameru
96, 32, 32 brown
64, 0, 96 others
・・・・・・
対応表
④対応表を使ってグループの色を特定
グループ
番号
色
1 black
2 red
・・・・・・
グループごとの平均RGB値
1000減色させたリストに目視で色ラベルを付けた
対応表の近傍を取得
色を判断し、
その色を内装色とする。
※順番は、含まれる数
の多い順

内装色検索イメージ
黒赤茶

５ CNN導入を成功させるための
重要な要因

DL導入成功のため大切なことが３つ
1 R＆Dに前のめりになる
２利用しやすい仕組みを整える
３成功を信じ共に進む仲間

R&Dに前のめり(横展開とR&Dの並走)
…
…
…
CNNのモデル
Image
[横展開]物体認識
ソリューション
何が写って
いるか把握
・オートタギング
・異常検知
・類似検索
・ etc
[R&D]
最新技術の適用
R&Dを実施する観点は主に以下二つ
①既存の課題点を補う
②別の施策出口としての利用可能技術の調査

既存の課題点からのR&D
1 高精度を出すために大量の学習データが必要
CNNの課題点
２パラメータチューニングに時間がかかる
1-1) Active Learning
1-2) VATを用いた半教師有り学習
2-1) DFOを用いた自動パラメータチューニング

• 1-1) Active Learning
• 効率よく、ラベル付すべきデータを選定する方法。
• 新しくラベルを付与して学習データに加えれば、最も精度の向上が望める画
像データをレコメンドする機能。
判別が苦手な画像を明示的に学習させる仕組み。
これにより、正解ラベルを付与する画像を絞り、工数が削減できる。
高精度を出すために大量のデータが必要
：ラベルを分解する境界面
境界面に近い現在のモデルが
間違えやすい画像
この画像に正解ラベルを付与し、
明示的に学習させることで
効率的にモデルの精度を高める。

高精度を出すために大量のデータが必要
• 1-2) VATを用いた半教師有り学習
• 半教師有り学習：少量の教師付きデータと大量の教師なしデータを用い
て、比較的高精度のモデル作成する手法。
• ICLR2016の採択論文の手法を試す。
mnist[0~9の手書きデータ]を利用し、
以下を検証。
・60000万枚の画像を学習に使った精度
・各枚数を学習に利用した時の精度
・各枚数を教師有り、残りを教師なしと
して学習した精度
教師有りを600枚使っただけで、ほぼ
60000枚全て利用した時と同様の精度が
得られていることがわかる。
学習利用枚数
誤
差
率
(%)
大量の画像全てに正解ラベルを付与しなくても良い。
よって、学習データの収集コストが大幅に下がることが期待できる。

VATを用いた半教師有り学習
：ラベル１の正解付きデータ
：ラベル２の正解付きデータ
：正解ラベルのないデータ
：ラベル１と２を分ける境界面
VAT[Virtual Adcersarila Training]を用いた2値分類の
半教師有り学習のイメージ
：予測確率分布がずれやすい方向へ
データをずらす
(LDS[Local Distributional smoothing]正則化)
…
…
…
このズレによる予測確率分布の差が
最小になるように、WとBを学習して
モデルを構築
これにより、データの多少のブレにも
耐えうる判別モデルが作成できる。
このモデルを使うと精度高く判別が可能

パラメータチューニングに時間がかかる
• 2-1) DFO[Derivative Free Optimization]を用いたパラメータチューニング
• DFO:目的関数を直接微分不可能なパラメータに対し、その値をずらして誤差率が
下がる方向へパラメータを調整して最適解を得る手法
誤差率をクロスエントロピーで求める場合、右の式となる。
ykは、W,Bから求められるため、WやBでの微分は可能。
ただし、それ以外の学習率などといったパラメータでの
微分は不可。これらのパラメータを少しずつずらし、誤差率の極小値を探索する方法。

パラメータチューニングに時間がかかる
• 2-1) DFO[Derivative Free Optimization]を用いたパラメータチューニング
• DFO:目的関数を直接微分不可能なパラメータに対し、その値をずらして誤差率が
下がる方向へパラメータを調整して最適解を得る手法
誤差率をクロスエントロピーで求める場合、右の式となる。
ykは、W,Bから求められるため、WやBでの微分は可能。
ただし、それ以外の学習率などといったパラメータでの
微分は不可。これらのパラメータを少しずつずらし、誤差率の極小値を探索する方法。
これにより、これまではハイパーパラメータを手動で少しずつずらして
精度を目視で確認していたが、自動で最適なパラメータの探索が可能に。
チューニングを自動化して、別の作業にとりかかれるようになった。

別の施策利用可能性のある技術調査
1 超解像
２画像データを用いた好感度予測（分類ではなく回帰）
超解像
画像を拡大し、隙間のピクセルに何色を入れるべきかを推定。
解像度の高い綺麗な
画像が並ぶサービスの
方がカスタマ満足度
の高いサービスになるはず！
どっちがより、好感度を得られる？？
入稿サポートの実現に向けて！
できたら、デモグラ別の
出し分けとかしてみたい！
or

利用しやすい仕組みを整える
マルチ
モーダル検索
動画解析
A3RTサービス群
Analytics &
Artificial
Intelligence
API
Via
RECRUIT
Technologies
事業会社が利用しやすいよう「A3RT」と呼ぶAPI群を作成。
スクラッチ開発での労力を軽減し、Deep Learningを含む機械学習
ソリューションの活用の敷居を下げる。
サービス例）
・レコメンドエンジン
・文章校閲
・文章自動生成/分類
・画像解析
・動画解析
・etcetc

成功を信じ共に進む仲間
リクルートには
EM/GM
「いいね！それやろう！」
という言葉を発してくれる方が本当に多いです。
事業の方々
一緒に働くメンバー
横のGのGM/メンバー
ちょっと喋っていて恥ずかしいのですが、これらの「人」こそがリクルートでDeep Learning
の導入を進められた最大の要因だと思っています。
（僕がこんな大きな場で、偉そうに喋っていますが、
これは全て、これらの方々のお陰に他なりません）

DL導入成功のため大切なことが３つ
1 R＆Dに前のめりになる
２利用しやすい仕組みを整える
３成功を信じ共に進む仲間

６まとめ

まとめ
リクルートではマッチングの最適化を目的とし、
その手段としてDeep Learningの利用が進んだ
スモールスタートから徐々に実績を作り、
それを用いて横展開・R&Dを継続的に実施している
Deep Learningの導入の成功の鍵は、ロジックの進化だ
けでなく、環境整備と仲間が重要な要素である
１
2
3

ご清聴ありがとうございました。
リクルートテクノロジーズ
リクルートはいかにして、
ディープラーニング（深層学習）の
導入を成功させたか

リクルートはいかにして、ディープラーニング（深層学習）の導入を成功させたか

More Related Content

What's hot

Similar to リクルートはいかにして、ディープラーニング（深層学習）の導入を成功させたか

More from Recruit Technologies

リクルートはいかにして、ディープラーニング（深層学習）の導入を成功させたか