A3RT - the details and actual use cases of "Analytics & Artificial intelligence API via Recruit technologies"

1. A3RT The details and actual use cases of “Analytics & Artificial intelligence API via Recruit technologies" 株式会社リクルートテクノロジーズ ITソリューション統括部ビッグデータプロダクト開発グループグループマネージャー石川信行石川信行 Nobuyuki Ishikawa

5. 5Copyright © Recruit Technologies Co., Ltd. All Rights Reserved. 趣味etc 学歴略歴所属  リクルートテクノロジーズ ITソリューション統括部ビッグデータプロダクト開発G グループマネージャー兼アドバンスドテクノロジーラボ  株式会社ミラセンシズ代表取締役 CEO 神戸大学大学院農学研究科害虫制御学専攻リクルート新卒入社８年目。カーセンサー.netで営業研修、Javaを用いたシステム開発に参加し、その後 Hadoopの導入検証に従事。主要事業にHadoopを導入したのちビッグデータGに合流。現事業対応リーダー、画像解析など技術開発に従事。シニアアーキテクトとしてプロフェッショナル職になった後に、現職。海水魚飼育外国産昆虫飼育スキューバダイビング自己紹介

6. 6Copyright © Recruit Technologies Co., Ltd. All Rights Reserved. ビッグデータ解析部門の組織体制 6 ITソリューション統括部・・・ビッグデータビジネスコンサルティンググループビッグデータ人材領域グループビッグデータ販促・バイト領域グループソリューションを軸とした予測、BI、競合分析人材領域を軸とした各種レコメンドの開発販促・バイトを軸とした各種レコメンドの開発ビッグデータＩＤ・ポイント領域グループ IDポイントを軸とした各種レコメンドの開発ビッグデータプロダクト開発グループビッグデータインフラグループＩＤポイントビッグデータシステムグループソリューションを軸とした各種R&D系プロダクトの開発ビックデータ基盤の構築・運用ビックデータ部 IDポイントPRJの基盤の構築・運用

10. 10Copyright © Recruit Technologies Co., Ltd. All Rights Reserved. 構築にいたった理由フルスクラッチ開発 一番自由度が高く最適な機能が作れる。一方、一から検討・開発するため、どうしても時間・コストがかかるので、全てのケースに対応できない他社のAPI群  一部は活用すべきだが、リクルートグループでの活用にそのまま使える機能が不足【効果的な機能】リクルートグループ特化による効果的なソリューションの開発【導入しやすさ】リクルート汎用的な機能についてはAPI化導入の迅速化／低コスト化【最新技術】バックエンドのアルゴリズム、インフラ環境も常に最新かつ適切なものが適用できるよう継続的に検証【効率など付加価値】オペレーション部分にも最新技術を適応精度／運用効率向上に向けた取り組みを継続的に実施（DeepLearningの自動パラメータチューニング機能他）  リクルートグループにおいて機械学習によるソリューション活用の敷居はまだまだ高く、活用をスピードアップ・拡大するためには設計～開発～運用に工数が多くかかっていた。  データ活用・ロジック作成に気を取られ、ビジネス活用まで考えがいたらない状況。

11. 11Copyright © Recruit Technologies Co., Ltd. All Rights Reserved. A3RTサービス一覧  A3RTでは現在、下記のようなAPIサービスを整備・開発。  これまでデータ活用が数多く進んでいるカスタマーサイドだけではなく、クライアントサイド、営業シーン、制作業務などでの利用を想定し、開発を進めている。レコメンドバナーターゲティング OCR 画像解析原稿サジェスト文章校閲文章要約文章分類音声テキスト化屋内位置測位

15. 15Copyright © Recruit Technologies Co., Ltd. All Rights Reserved. motiv8r-誰でも簡単に利用できるレコメンド用WebAPI  ヒアリングシートに記入するだけで、迅速・簡単・低コストで利用可能なレコメンドAPI  リクルートオリジナルのリアルタイムレコメンドロジックのほか、Word2Vecを用いたレコメンドなどを実装 motiv8rを使って実現できること motiv8r利用の特徴レコメンド機能をWebAPI形式でお手軽・簡単に実装可能簡単なヒアリングシート記入で、レコメンド機能を実装  リアルタイムレコメンドアルゴリズム、Word2Vec を選択できる。  ユーザの閲覧・CVがあるたびAPIにリクエストを送るだけでリアルタイムにレコメンド内容が変化  差配を重視したアルゴリズムにより、人気アイテムに偏ることのないパーソナライズドなレコメンドを実現可能  要件定義にヒアリングシートを送信、Webサイト側の実装を実施してするだけで利用可能気軽にリアルタイムレコメンド差配によるパーソナライズ化開発工数低 1 2 3

16. 16Copyright © Recruit Technologies Co., Ltd. All Rights Reserved. RETiMOアルゴリズム閲覧/応募ログレコメンドデータアイテムアソシエーション INPUT エリア属性スコア駅属性スコア職種属性スコアアソシエーション分析閲覧/応募スコア算出 × アソシエーション分析閲覧/応募スコア算出 × アソシエーション分析閲覧/応募スコア算出 × アソシエーション分析バッチ処理バッチ処理リアルタイム処理スコア更新閲覧済原稿削除 UPDATE API Dailyで作成即更新

17. 17Copyright © Recruit Technologies Co., Ltd. All Rights Reserved. motiv8r-事例  複数の人材系事業で導入およびその検討が進行中  レコメンドエンジンは、コールドスタートに対応したReTiMOを採用概要成果 • 事業サイドの工数を最小限にした手軽な導入を実現 • それまで利用していたレコメンドツールよりCVR / CTRが大幅に向上 CVR ReTiMOをレコメンドエンジンとして活用し、探している仕事と似ている仕事のレコメンドを実装約6倍

18. 18Copyright © Recruit Technologies Co., Ltd. All Rights Reserved. word2vecとは  各単語を表現するベクトルを学習  単語から文書中でその単語の前後に現れる単語を予測できるような表現を学習  単語を表す1-of-ｋ表現のベクトルを入力とし、その単語の前後にある単語の出現確率を出力とするニューラルネットを学習させ、その中間層の値を単語を表現するベクトルとして用いる w(t) w(t-1) w(t+1) w(t+2) w(t-2) INPUT PROJECTION OUTPUT INPUT: 単語の1-of-k表現 PROJECTION: 単語線形変換階層的 soft-max OUTPUT: 前後の単語の出現確率 𝑝(𝑤(𝑡+𝑖)|𝑤(𝑡)) 目的関数

19. 19Copyright © Recruit Technologies Co., Ltd. All Rights Reserved. word2vecとは While expanding its channel for distribution information from paper publication to the net and mobile, the company has been pushing for a shift of their revenue from … … … while(0.1, 0.4, 0.3, 0.7, …) expanding(0.2, 0.5, 0.7, 0.7, …) its(0.1, 0.1, 0.9, 0.6, …) channel(0.6, 0.4, 0.9, 0.5, …) for(0.5, 0.8, 0.2, 0.1, …) distribution(0.8, 0.4, 0.1, 0.2, …) information(0.3, 0.7, 0.3, 0.6, …) … … … … 文書データベクトルデータ word2vec 文書データを元に単語毎のベクトルデータを生成する

20. 20Copyright © Recruit Technologies Co., Ltd. All Rights Reserved. word2vecのアウトプットデータアクションログデータ word2vec itemベクトルデータ item類似度データ cos類似度 user1 item-A item-B item-C… user2 item-D item-E item-F… user3 item-G item-Q item-X… user4 item-L item-K item-V… … … … item-A (0.1, 0.9, 0.6, 0.4, ……) item-B (0.2, 0.5, 0.1, 0.8, ……) item-C (0.7, 0.3, 0.3, 0.4, ……) item-D (0.5, 0.9, 0.8, 0.2, ……) … … … item-A, item-B, 0.976 item-A, item-C, 0.329 item-A, item-D, 0.743 item-A, item-E, 0.552 … … …

22. 22Copyright © Recruit Technologies Co., Ltd. All Rights Reserved. Image Paradise-画像解析処理API Image Paradiseを使って実現できることの一例 Image Paradiseのメイン技術  画像解析処理、主に物体認識をAPIサービスとして提供  画像ベースレコメンドや不適切画像検出、タグ付与などのサービスを提供画像に何が映っているかを自動で判別することで、人力でのタグ付与作業負荷を軽減今まで付与できなかった新たなタグを振ることで、よりリッチな検索を実現 1 2 画像から得られる情報(映る物の判別結果や色)を利用し、画像軸でのレコメンドを実現不適切画像を定義し、サービスにアップロードされる前や直後に検出 3 4 画像を学習し、未知の画像に何が写っているかを判定猫犬虎・・・ ②判別モデル作成・・・・・・ ③未知の画像をモデルに投入猫確率：30% 犬確率：10% 虎確率：60% ④虎が映っているらしいと認識 ①学習用データ用意画像解析に特化したDeep Learningの手法の一種であるCNN1)を活用 1) Convolutional Neural Network の略

23. 23Copyright © Recruit Technologies Co., Ltd. All Rights Reserved. Image Paradise-事例①(ギャザリー不適切画像検知)  ギャザリーは、キュレーションメディアであり、カスタマーが自由に記事を作成でき、自身の意思で画像も投稿することが可能  エロ/グロなどの不適切な画像の検閲を人目で全て行うのは工数が膨大にかかるため、これを機械で代替する 1) Convolutional Neural Network の略技術概要実現方法 DeepLearningを活用し、画像を定量化するロジックを用いて、 Safe/Sexual/Glotesqueをラベル分け 2段階の判別を採用。最初の判別でラベルの想定結果を重み付けする機能※により、精度が約95%まで向上 ※…二段階の想定結果重み付けロジックは、現在特許出願中 3万300枚／時以上の速度で、画像のラベル分けが可能 ① 大量のエロ/グロ/ノーマル画像を収集・・・ ② 判別モデル作成 ③ 未知の画像をモデルに通し、エロ/グロ確率を算出グロ確率 89% !! この画像は優先してチェックしてください！

24. 24Copyright © Recruit Technologies Co., Ltd. All Rights Reserved. Image Paradise-事例② カーセンサー色タグ付与 • カーセンサーでは、一物件につき、20枚くらいの画像が存在 • これに外装・トランク・ダッシュボード・内装・その他などラベルを振り、内装判別用のモデルを作成内装の確率が一番高い画像を探索色を抽出して、最も広範囲に利用される色をシートの色として判別範囲が多い順に・ライトブルー・黒・・・ →シート色のタグとして、「ライトブルー」を付与！学習データ収集内装画像探索内装色判別内装判別をするための学習データ収集 1 2 3  「メディアで不足・もっと見たかったクルマの情報」を調査したところ、1位が「クルマの内装の写真」であること、また、約 35％の回答者が、中古車の「内装」を重視してクルマ選びをしていることが判明  一方で既存メディアには内装色で検索という機能が存在しない

25. 25Copyright © Recruit Technologies Co., Ltd. All Rights Reserved. Image Paradise-事例③ 自動車車種判定  自動車を良く知らない初心者の人間にとって、車種や自動車メーカーの名前を知ることは難しく、より直感的に自動車を探すことができるインターフェースが必要と想定  画像判別により車種を判別できる機能を開発し、初心者フレンドリーなインターフェースを実現  判別精度は人気車種上位30種類において90％以上にものぼる既存の検索導線へ

26. 26Copyright © Recruit Technologies Co., Ltd. All Rights Reserved. neon-リクルート保持の原稿からテキストを自動生成するシステム  リクルートが保持している原稿をDeepLearning(DeepLSTM)を使って学習し、原稿を生成するシステム  原稿を書いている時に書き方がわからない、次に何を書けばいいか詰まってしまった、という場合など人の思考補助を行う意味合いでの利用を想定 neonを使って実現できること機能イメージサンプル原稿を自動で作成する機能ライティング中に次に何を書けばいいのか教えてくれるサジェスト機能 1 2 過去数年分の事業のクライアント原稿をインプットとしてモデルを作り、例えば職種やエリアを指定して送ればそれにあうベストな原稿を自動で生成して返してくれる機能原稿作成時にフォーム上に入力した文字列をAjax通信で送ると次の一語/フレーズ /文章を推薦してくれるサジェスト機能

28. 28Copyright © Recruit Technologies Co., Ltd. All Rights Reserved. ArGON-ルールベースと機械学習のハイブリッドで校閲支援API  リクルートにおける「原稿」は商品そのもの。これに間違いがあると大きな機会損失となる  ルールベースによる校閲機能だけでなく、ルールのカスタマイズや最新の機械学習技術も実装しているため、使えば使うほど賢く校閲を実施できるルールベースによる校閲機能機械学習による校閲機能ルールカスタマイズ機能 ArGONを使って実現できること ArGONの機能原稿の中の、誤字脱字、NGワードなどを自動で検出大量の原稿全てに対するチェックを自動化 • 入稿者、校閲者の負担軽減/コスト削減 • 本当に人間の目が必要となるところにパワーを割くことが可能に汎用性の高い校閲ルール例) ・住所の間違い判定・郵便番号の存在チェック・電話番号の桁数チェック・NGワードの検出ルールベースで実現出来ない部分を補う機械学習例) ・誤字脱字の検出・差別表現の判定・NGとなりそうなワードの組み合わせサジェスト管理画面から独自のルール登録が可能誰でも簡単にルールを追加

29. 29Copyright © Recruit Technologies Co., Ltd. All Rights Reserved. 校閲支援API ArGONのロジック  誤字脱字検知のロジック - Gated Recurrent UnitsというDeep Learning技術を使用 - Residual Learningの要素を取り入れ、精度は85%-90% 正しい文章を大量に学習させ、異常検知的に誤字脱字を検出する

32. 32Copyright © Recruit Technologies Co., Ltd. All Rights Reserved. Video Analysis-動画の解析API  これまでの画像、テキストの解析技術を生かし、動画中の人や物を認識しタグ付けするAPIを開発  将来的に、動画コンテンツが増加していくことを見込んでの先行開発 Video Analysisを使って実現できること Video Analysisイメージ動画中の人物の表情の変化（喜怒哀楽）を可視化 • タグだけではなく、各物体の特徴量も同時に抽出できるため、動画の分類やクラスタリングも行うことも検討 • また動画を静止画像の集合とみなし、それぞれのコマ・シーンごとにタグ付けなども検討面接動画の解析や、動画による求人広告の作成などへの活用も考えられる動画にどんな物体が映っているかを認識動画中の人物の表情の変化（喜怒哀楽）をタグ付け 1 2

34. 34Copyright © Recruit Technologies Co., Ltd. All Rights Reserved. スタートアップ協業シリーズ  海外出張によって訪問した現地（イスラエル・US）の先進スタートアップ企業とディスカッション。  プロダクト利用だけではなく、協働検証・開発なども行っている。目的インフラオペレーションAI 類似画像アフィリエイト屋内位置情報測位説明会などイベントでの流量分析想定ビッグデータ部内部Hadoop 環境での利用画像を生かした媒体間のクロスユース屋内位置情報取得によるカスタマー情報リッチ化社内インフラ運用のモニタリングを知見習得？インターネット中の画像を集客元に社内検証

35. 35Copyright © Recruit Technologies Co., Ltd. All Rights Reserved. Cotori –屋内位置測位  GPSではできない屋内の測位を正確に行うSDK  屋内でGPSと同じようにトラッキングをしたり、非常に小さいジオフェンスを貼ることが可能  またwifiや地磁気の情報を使用するため非常に省電力で動くことが特徴  オフラインイベントなどでの解析に利用できないかを検討中 ×

37. 37Copyright © Recruit Technologies Co., Ltd. All Rights Reserved. 共通インフラ機能  グループ内の共通機能を集約し、個別運用による構築負荷/運用負荷・インフラコストを削減構成イメージ監視画面イメージ RAFTEL ・・・・・ ProductA ProductZ Cloud API worker1 worker2 API Cloud API worker1 worker2 API Batch proxy Auth A3RT Admin Platform 認証 monitor バッチ処理

39. 39Copyright © Recruit Technologies Co., Ltd. All Rights Reserved. 半教師有り学習による精度向上 • VATを用いた半教師有り学習 • 半教師有り学習：少量の教師付きデータと大量の教師なしデータを用いて、比較的高精度のモデル作成する手法。 mnist[0~9の手書きデータ]を利用し、以下を検証。・60000万枚の画像を学習に使った精度・各枚数を学習に利用した時の精度・各枚数を教師有り、残りを教師なしとして学習した精度教師有りを600枚使っただけで、ほぼ 60000枚全て利用した時と同様の精度が得られていることがわかる。学習利用枚数誤差率 (%) 大量の画像全てに正解ラベルを付与しなくても良い。よって、学習データの収集コストが大幅に下がることが期待できる。

40. 40Copyright © Recruit Technologies Co., Ltd. All Rights Reserved. 自動ハイパーパラメータチューニングによる工数削減 • DFO[Derivative Free Optimization]を用いたパラメータチューニング • DFO:目的関数を直接微分不可能なパラメータに対し、その値をずらして誤差率が下がる方向へパラメータを調整して最適解を得る手法誤差率をクロスエントロピーで求める場合、右の式となる。 ykは、W,Bから求められるため、WやBでの微分は可能。ただし、それ以外の学習率などといったパラメータでの微分は不可。これらのパラメータを少しずつずらし、誤差率の極小値を探索する方法。

42. 42Copyright © Recruit Technologies Co., Ltd. All Rights Reserved. データ解析の利用シーン拡大 customer Client Attracting customers Select Action Effect Information published Target client Matching  cross tabulation  Recommendation  Image search  Advertising expenses optimization  Ad Targeting  Manuscript reviewer  Auto review  Article creation support  Sales support  Competitive analysis

43. 43Copyright © Recruit Technologies Co., Ltd. All Rights Reserved. Diversified data analysis  In addition to recommendation and report, there are more and more new genre data analysis solutions of "human work alternative" Profit contribution Cost reduction Recommendation Report Indicator/Purpose  CVR maximization  CPA optimization Indicator/Purpose  Optimization  Next year’s strategy making Indicator/Purpose  Reduction of waste  Reduction of man hours  Having people be more creative Work alternative （AI domain）

46. 46Copyright © Recruit Technologies Co., Ltd. All Rights Reserved. 大切にしたいことデータの活用周りの商品（エンタープライズ、オープンソース問わず）、ロジック、活用事例などの最新情報をなるべくキャッチしておく。どんなデータでも扱えるように知見を集約しておく、難しい技術や課題にも積極的にチャレンジしていく。コードのオープンソース化が進み、競合優位要因が「コード保有」から「データ保有」「施策接続力」にパラダイムシフト。ビジネスの感覚も忘れずに、事業と二人三脚で案件を進める。１ 2 3

48. ご静聴ありがとうございましたリクルートテクノロジーズ

A3RT - the details and actual use cases of "Analytics & Artificial intelligence API via Recruit technologies"

DataWorks Summit/Hadoop Summit

A3RT - the details and actual use cases of "Analytics & Artificial intelligence API via Recruit technologies"