Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

リクルートはいかにして、ディープラーニング(深層学習)の導入を成功させたか

18,489 views

Published on

2016/08/25 「Enterprise Development Conference 2016」での、白井の講演資料になります

Published in: Technology
  • Be the first to comment

リクルートはいかにして、ディープラーニング(深層学習)の導入を成功させたか

  1. 1. リクルートはいかにして、 ディープラーニング(深層学習)の 導入を成功させたか 株式会社リクルートテクノロジーズ ITソリューション統括部 ビッグデータプロダクト開発G 白井 祐典
  2. 2. 2Copyright © Recruit Technologies Co., Ltd. All Rights Reserved. 発表の前に 本日のお話は、Deep Learningの中でも 画像解析がメインの話となります。 今回のタイトルから、Deep Learningの導入 の過程の話がメインであり、導入が最も進んで いるのが画像解析であるためです。 テキスト解析等にも着手しておりますが、 その話は本日出てきませんのでご了承ください。
  3. 3. 3Copyright © Recruit Technologies Co., Ltd. All Rights Reserved. 目次 リクルートについて1 Deep Learningに取り組んだ背景2 Convolutional Neural Net[CNN]の概要と物体認識3 CNNの適用事例紹介4 CNN導入を成功させるための重要な要因5 まとめ6
  4. 4. 4Copyright © Recruit Technologies Co., Ltd. All Rights Reserved. 1 リクルートについて
  5. 5. 5Copyright © Recruit Technologies Co., Ltd. All Rights Reserved. リクルートのビジネスモデル 様々なドメインでマッチングモデルに基づいたビジネスを展開 Matching Business HR Bridal Group Buying Used Cars Travel Real Estate Beauty Gourmet Social Games E-Commerce Ad Network New Business Consumers Enterprise
  6. 6. 6Copyright © Recruit Technologies Co., Ltd. All Rights Reserved. リクルートの事業領域 「選択」 をサポートするような情報サービスを展開 Life event area Lifestyle Area Travel IT/ TrendLifestyle Health & Beauty Job Hunt Marriage Job Change Home Purchase Car Purchase Child Birth Education
  7. 7. 7Copyright © Recruit Technologies Co., Ltd. All Rights Reserved. Infrastructure Large project promotions UI design/SEO Big Data Department Technology R&D IT Promotion リクルートテクノロジーズの立ち位置 リクルートホールディングスは7つの主要事業会社と3つの機能会社から成り立っている。 Recruit Holdings Recruit Career Recruit Sumai Company Recruit Lifestyle Recruit Jobs Recruit Staffing Recruit Marketing Partners Staff service Holdings Recruit Technologies Recruit Administration Recruit Communications Operation Service
  8. 8. 8Copyright © Recruit Technologies Co., Ltd. All Rights Reserved. 2 Deep Learningに 取り組んだ背景
  9. 9. 9Copyright © Recruit Technologies Co., Ltd. All Rights Reserved. Deep Learningは後からフィットした 僕らはDeep Learningをやるぜ!!と 決めてDeep Learningを始めた訳ではありません Deep Learningはあくまで手段です 基本ですが、手段は目的を達成するために存在します マッチングの最適化という目的を達成するため、 非構造データを扱いました。その中で Deep Learningがフィットすることが分かり 徐々に利用するようになっていきました
  10. 10. 10Copyright © Recruit Technologies Co., Ltd. All Rights Reserved. ビッグデータの概念 Volume データ量 データの多様性 Variety Velocity データの発生頻度 ビッグデータの定義で示されるデータの多様性に注目。
  11. 11. 11Copyright © Recruit Technologies Co., Ltd. All Rights Reserved. 非構造データの活用がまだまだ  原稿情報  営業日報  議事録  位置情報  商品・店舗画像 etc 今までビッグデータ部で扱う対象のデータは、 行動履歴やデモグラ情報など比較的扱いやすいデータがメイン リクルート内には数多くの 非構造データが存在。 ただ、貯めるというだけでもコスト。 これを活用して、何か価値を生み出す ことができないかと考えたのが最初
  12. 12. 12Copyright © Recruit Technologies Co., Ltd. All Rights Reserved. 画像は今どう使われている? リクルートは各事業ドメインにおいてさまざまな画像を大量に保持している。 ・この画像はなんのために用いられているのか? 各事業ドメインにおいて、商材のイメージを伝えるために存在しており、 解析の対象にはまだなっていない。 画像はカスタマに直観的に情報を与える上で最高の情報。 これを解析に利用すれば、マッチングを更に高精度化できるはず![目的]
  13. 13. 13Copyright © Recruit Technologies Co., Ltd. All Rights Reserved. いざ、画像データの解析へ R-Stage Dev-Stage β-Stage 運用-Stage  技術要素調査  技術の実態を 把握する  効果的な仕組み としてプレ実装  活用方法をさら に開拓  正式にフィジビリ ティスタディとして 推進~展開をする  実運用へ Gate Review まずは基本技術の調査・検証 人・モノを最小構成にしたスモールスタート 2013年にスタート3 年前くらい
  14. 14. 14Copyright © Recruit Technologies Co., Ltd. All Rights Reserved. 画像データの解析の始まり 「Cifar-10」という、共通のベンチマークデータを使った 精度競争の中の、論文のコードを実装してみるところからスタート
  15. 15. 15Copyright © Recruit Technologies Co., Ltd. All Rights Reserved. 画像データの解析の始まり 今では、Deep Learningが独占しているが、 当時(2013年頭)は、neural netの層が小さいものとか、sparce coding+SVMとかが入り乱れていた また、caffeなどのOSSもまだあまり利用例がない Deep Learningという言葉は知っていたが、 お金と時間の都合上、まずは実装しやすそうな sparce coding + SVMで画像解析をやってみる。 「Cifar-10」という、共通のベンチマークデータを使った 精度競争の中の、論文のコードを実装してみるところからスタート
  16. 16. 16Copyright © Recruit Technologies Co., Ltd. All Rights Reserved. Sparce Coding K-means, Sparse Coding, OMP, RBM, Auto Encoder… このベクトルに、教師ラベルを合わせて、 SVMでクラス判定 = 物体認識を実施
  17. 17. 17Copyright © Recruit Technologies Co., Ltd. All Rights Reserved. いざ、画像データの解析へ R-Stage Dev-Stage β-Stage 運用-Stage  技術要素調査  技術の実態を 把握する  効果的な仕組み としてプレ実装  活用方法をさら に開拓  正式にフィジビリ ティスタディとして 推進~展開をする  実運用へ Gate Review 色々な事業向けのデモを作って感触を確かめる。 ホットペッパービューティからやりたいと言っていただき、 まずはR&D費用としてフィジビリティスタディを実施。 2年前くらい 奮闘記: 「リクルートにおける画像解析事例紹介」でご紹介しております
  18. 18. 18Copyright © Recruit Technologies Co., Ltd. All Rights Reserved. Caffeの登場とGPUサーバー利用 × 他社利用実績がある OSSの登場 導入実績を作ることでの お金の確保ができてGPU サーバーの利用開始
  19. 19. 19Copyright © Recruit Technologies Co., Ltd. All Rights Reserved. 精度とスピードが加速度的に増加 精度 5X.XX% 8X.XX% 処理速度 鈍行 新幹線 CPU VS GPU GPUが6~10倍くらい早い
  20. 20. 20Copyright © Recruit Technologies Co., Ltd. All Rights Reserved. 鈍行 精度とスピードが加速度的に増加 5X.XX% 8X.XX% ノゾミ CPU VS GPU GPUが6~10倍くらい早い 精度 処理速度 実施案件の完成度と実装速度が増し、 実績作成の速度がグンと増した 技術の磨き込みや 実装ノウハウの蓄積が加速
  21. 21. 21Copyright © Recruit Technologies Co., Ltd. All Rights Reserved. いざ、画像データの解析へ R-Stage Dev-Stage β-Stage 運用-Stage  技術要素調査  技術の実態を 把握する  効果的な仕組み としてプレ実装  活用方法をさら に開拓  正式にフィジビリ ティスタディとして 推進~展開をする  実運用へ Gate Review 溜まったノウハウによる安定したサービス提供の目処が立ち、 いざ実導入へ!! イマココ
  22. 22. 22Copyright © Recruit Technologies Co., Ltd. All Rights Reserved. 3 CNNの概要と物体認識
  23. 23. 23Copyright © Recruit Technologies Co., Ltd. All Rights Reserved.  Convolutional Neural Network (CNN)は画像解析に特化したDeep Learning の手法の一種  入力画像上でパッチ(局所画像)を滑らせ、パッチからの特徴量抽出(Convolution) と近くのパッチ同士での特徴量のまとめ上げ(Pooling)を繰り返し、最終的に得られた 特徴量をもとに画像のラベルを予測する。 Convolutional Neural Network P (野球) P (サッカー) P (カバディ) 繰り返し すべての特徴量 を連結し使用 Convolution層 Pooling層 ベクター Predict 画像に映っているものが何かを特定する =物体認識を実施
  24. 24. 24Copyright © Recruit Technologies Co., Ltd. All Rights Reserved. 物体認識 正解ラベル付きの画像を大量に学習し、 未知の画像に何が映っているかを特定する ベクトル化 ベクトル化 ベクトル化 ベクトル化 野球ゾーン サッカーゾーン まとめる ベクトル化 学習 予測 予測モデル サッカーゾーンに近い。 サッカーなのでは! と特定 予測モデル 未知の画像
  25. 25. 25Copyright © Recruit Technologies Co., Ltd. All Rights Reserved. ベクトル変換方法
  26. 26. 26Copyright © Recruit Technologies Co., Ltd. All Rights Reserved. 各フェーズの説明
  27. 27. 27Copyright © Recruit Technologies Co., Ltd. All Rights Reserved. CNNの概要 ・ ・ ・画像 :パッチ (局所画像) 入力層 ・・・ ・・・ 隠れ層1 ・・・ ・・・ ・・・ ・・・ ・・・ ・・・ ・ ・ ・ ・・・ ・・・ 隠れ層2 ・・・ ・・・ ・・・ ・・・ ・・・ ・・・ ・ ・ ・ :重み ・ ・ ・ ・ ・ ・ ・ ・ Softmax 関数など 出力層 サッカー 確率XX% 野球 確率XX% カバディ 確率XX%
  28. 28. 28Copyright © Recruit Technologies Co., Ltd. All Rights Reserved. 4 CNNの適用事例紹介
  29. 29. 29Copyright © Recruit Technologies Co., Ltd. All Rights Reserved. カーセンサーにおける内装色検索機能 事例紹介
  30. 30. 30Copyright © Recruit Technologies Co., Ltd. All Rights Reserved. 内装色判別機能とは 内装色の指定画面 茶色 黒 内装色で絞り込み検索が可能
  31. 31. 31Copyright © Recruit Technologies Co., Ltd. All Rights Reserved. 内装色判別フロー 外装 ハンドル カーナビ 内装 ・ ・ ・ 1物件の中古車画像群 (約20枚) 1 2 3 4 タイヤ 5 4 内装画像を判定 黒 赤 シートの色を抽出して タグを付与する
  32. 32. 32Copyright © Recruit Technologies Co., Ltd. All Rights Reserved. 内装色判別フロー(内装画像の特定) … … … CNNで作成した 内装判別モデル 外装 ハンドル カーナビ 内装 ・ ・ ・ 1物件の中古車画像群 (約20枚) 1 2 3 1 :0.02% 2 :7.84% 3 :1.39% 4 :97.3% 5 :0.17% 各画像の内装確率 ・ ・ ・ 4 タイヤ 5 4 を内装画像と断定!
  33. 33. 33Copyright © Recruit Technologies Co., Ltd. All Rights Reserved. 内装色判別フロー(CNNの学習) 内装画像の判定にCNNを利用 外装 ラベル名 画像例 内装 トランク ダッシュ ボード その他 学習枚数 約3500枚 約2000枚 約1000枚 約1000枚 約2500枚 予測精度 内装 or not 90.2%
  34. 34. 34Copyright © Recruit Technologies Co., Ltd. All Rights Reserved. 内装色判別フロー(内装色の特定1) ①内装色を縦横50%削除 25%削除 削除 削除 削除 ②50%削除画像からRGB値取得 [244,238,229], [244,238,228], [243,233,231]・・・ [233,253,233], [244,238,229], [242, 232,227]・・・ ・ ・ ・ ③RGB値に対しK-means
  35. 35. 35Copyright © Recruit Technologies Co., Ltd. All Rights Reserved. 内装色判別フロー(内装色の特定2) ④K-meansの平均RGB値算出 グループ 番号 R G B 1 0 0 0 2 225 0 3 ・・・ ・・・ ・・・ ・・・ ・・・ ・・・ 0, 64, 64 others 160, 0, 0 red 128, 0, 32 red 128, 32, 0 brown 96, 0, 64 others 96, 64, 0 kyameru 96, 32, 32 brown 64, 0, 96 others ・・・ ・・・ 対応表 ④対応表を使ってグループの色を特定 グループ 番号 色 1 black 2 red ・・・ ・・・ グループごとの平均RGB値 1000減色させたリストに目視で色ラベルを付けた 対応表の近傍を取得 色を判断し、 その色を内装色とする。 ※順番は、含まれる数 の多い順
  36. 36. 36Copyright © Recruit Technologies Co., Ltd. All Rights Reserved. 内装色検索イメージ 黒 赤 茶
  37. 37. 37Copyright © Recruit Technologies Co., Ltd. All Rights Reserved. 5 CNN導入を成功させるための 重要な要因
  38. 38. 38Copyright © Recruit Technologies Co., Ltd. All Rights Reserved. DL導入成功のため大切なことが3つ 1 R&Dに前のめりになる 2 利用しやすい仕組みを整える 3 成功を信じ共に進む仲間
  39. 39. 39Copyright © Recruit Technologies Co., Ltd. All Rights Reserved. R&Dに前のめり(横展開とR&Dの並走) … … … CNNのモデル Image [横展開]物体認識 ソリューション 何が写って いるか把握 ・オートタギング ・異常検知 ・類似検索 ・ etc [R&D] 最新技術の適用 R&Dを実施する観点は主に以下二つ ①既存の課題点を補う ②別の施策出口としての利用可能技術の調査
  40. 40. 40Copyright © Recruit Technologies Co., Ltd. All Rights Reserved. 既存の課題点からのR&D 1 高精度を出すために大量の学習データが必要 CNNの課題点 2 パラメータチューニングに時間がかかる 1-1) Active Learning 1-2) VATを用いた半教師有り学習 2-1) DFOを用いた自動パラメータチューニング
  41. 41. 41Copyright © Recruit Technologies Co., Ltd. All Rights Reserved. • 1-1) Active Learning • 効率よく、ラベル付すべきデータを選定する方法。 • 新しくラベルを付与して学習データに加えれば、最も精度の向上が望める画 像データをレコメンドする機能。 判別が苦手な画像を明示的に学習させる仕組み。 これにより、正解ラベルを付与する画像を絞り、工数が削減できる。 高精度を出すために大量のデータが必要 :ラベルを分解する境界面 境界面に近い現在のモデルが 間違えやすい画像 この画像に正解ラベルを付与し、 明示的に学習させることで 効率的にモデルの精度を高める。
  42. 42. 42Copyright © Recruit Technologies Co., Ltd. All Rights Reserved. 高精度を出すために大量のデータが必要 • 1-2) VATを用いた半教師有り学習 • 半教師有り学習:少量の教師付きデータと大量の教師なしデータを用い て、比較的高精度のモデル作成する手法。 • ICLR2016の採択論文の手法を試す。 mnist[0~9の手書きデータ]を利用し、 以下を検証。 ・60000万枚の画像を学習に使った精度 ・各枚数を学習に利用した時の精度 ・各枚数を教師有り、残りを教師なしと して学習した精度 教師有りを600枚使っただけで、ほぼ 60000枚全て利用した時と同様の精度が 得られていることがわかる。 学習利用枚数 誤 差 率 (%) 大量の画像全てに正解ラベルを付与しなくても良い。 よって、学習データの収集コストが大幅に下がることが期待できる。
  43. 43. 43Copyright © Recruit Technologies Co., Ltd. All Rights Reserved. VATを用いた半教師有り学習 :ラベル1の正解付きデータ :ラベル2の正解付きデータ :正解ラベルのないデータ :ラベル1と2を分ける境界面 VAT[Virtual Adcersarila Training]を用いた2値分類の 半教師有り学習のイメージ :予測確率分布がずれやすい方向へ データをずらす (LDS[Local Distributional smoothing]正則化) … … … このズレによる予測確率分布の差が 最小になるように、WとBを学習して モデルを構築 これにより、データの多少のブレにも 耐えうる判別モデルが作成できる。 このモデルを使うと精度高く判別が可能
  44. 44. 44Copyright © Recruit Technologies Co., Ltd. All Rights Reserved. パラメータチューニングに時間がかかる • 2-1) DFO[Derivative Free Optimization]を用いたパラメータチューニング • DFO:目的関数を直接微分不可能なパラメータに対し、その値をずらして誤差率が 下がる方向へパラメータを調整して最適解を得る手法 誤差率をクロスエントロピーで求める場合、右の式となる。 ykは、W,Bから求められるため、WやBでの微分は可能。 ただし、それ以外の学習率などといったパラメータでの 微分は不可。これらのパラメータを少しずつずらし、誤差率の極小値を探索する方法。
  45. 45. 45Copyright © Recruit Technologies Co., Ltd. All Rights Reserved. パラメータチューニングに時間がかかる • 2-1) DFO[Derivative Free Optimization]を用いたパラメータチューニング • DFO:目的関数を直接微分不可能なパラメータに対し、その値をずらして誤差率が 下がる方向へパラメータを調整して最適解を得る手法 誤差率をクロスエントロピーで求める場合、右の式となる。 ykは、W,Bから求められるため、WやBでの微分は可能。 ただし、それ以外の学習率などといったパラメータでの 微分は不可。これらのパラメータを少しずつずらし、誤差率の極小値を探索する方法。 これにより、これまではハイパーパラメータを手動で少しずつずらして 精度を目視で確認していたが、自動で最適なパラメータの探索が可能に。 チューニングを自動化して、別の作業にとりかかれるようになった。
  46. 46. 46Copyright © Recruit Technologies Co., Ltd. All Rights Reserved. 別の施策利用可能性のある技術調査 1 超解像 2 画像データを用いた好感度予測(分類ではなく回帰) 超解像 画像を拡大し、隙間のピクセルに何色を入れるべきかを推定。 解像度の高い綺麗な 画像が並ぶサービスの 方がカスタマ満足度 の高いサービスになるはず! どっちがより、好感度を得られる?? 入稿サポートの実現に向けて! できたら、デモグラ別の 出し分けとかしてみたい! or
  47. 47. 47Copyright © Recruit Technologies Co., Ltd. All Rights Reserved. 利用しやすい仕組みを整える マルチ モーダル検索 動画解析 A3RTサービス群 Analytics & Artificial Intelligence API Via RECRUIT Technologies 事業会社が利用しやすいよう「A3RT」と呼ぶAPI群を作成。 スクラッチ開発での労力を軽減し、Deep Learningを含む機械学習 ソリューションの活用の敷居を下げる。 サービス例) ・レコメンドエンジン ・文章校閲 ・文章自動生成/分類 ・画像解析 ・動画解析 ・etcetc
  48. 48. 48Copyright © Recruit Technologies Co., Ltd. All Rights Reserved. 成功を信じ共に進む仲間 リクルートには EM/GM 「いいね!それやろう!」 という言葉を発してくれる方が本当に多いです。 事業の方々 一緒に働くメンバー 横のGのGM/メンバー ちょっと喋っていて恥ずかしいのですが、これらの「人」こそがリクルートでDeep Learning の導入を進められた最大の要因だと思っています。 (僕がこんな大きな場で、偉そうに喋っていますが、 これは全て、これらの方々のお陰に他なりません)
  49. 49. 49Copyright © Recruit Technologies Co., Ltd. All Rights Reserved. DL導入成功のため大切なことが3つ 1 R&Dに前のめりになる 2 利用しやすい仕組みを整える 3 成功を信じ共に進む仲間
  50. 50. 50Copyright © Recruit Technologies Co., Ltd. All Rights Reserved. 6 まとめ
  51. 51. 51Copyright © Recruit Technologies Co., Ltd. All Rights Reserved. まとめ リクルートではマッチングの最適化を目的とし、 その手段としてDeep Learningの利用が進んだ スモールスタートから徐々に実績を作り、 それを用いて横展開・R&Dを継続的に実施している Deep Learningの導入の成功の鍵は、ロジックの進化だ けでなく、環境整備と仲間が重要な要素である 1 2 3
  52. 52. ご清聴ありがとうございました。 リクルートテクノロジーズ リクルートはいかにして、 ディープラーニング(深層学習)の 導入を成功させたか

×