SlideShare a Scribd company logo
1 of 71
Download to read offline
リクルート式AIの活用法
株式会社リクルートテクノロジーズ
ITソリューション統括部 ビッグデータプロダクト開発グループ
グループマネージャー
石川 信行
石川 信行
Nobuyuki
Ishikawa
#devsumi B 17-B-3
2Copyright © Recruit Technologies Co., Ltd. All Rights Reserved.
1
2
A3RT概要3
4
本日の内容
プロダクトとそのユースケース
5
はじめに
まとめと今後6
「AI」の捉え方
R&Dについて
3Copyright © Recruit Technologies Co., Ltd. All Rights Reserved.
はじめに
4Copyright © Recruit Technologies Co., Ltd. All Rights Reserved.
趣味etc
学歴
略歴
所属  リクルートテクノロジーズ ITソリューション統括部
ビッグデータプロダクト開発G グループマネージャー兼アドバンスドテクノロジーラボ
 株式会社ミラセンシズ 代表取締役 CEO
神戸大学大学院農学研究科
害虫制御学専攻
リクルート新卒入社8年目。
カーセンサー.netで営業研修、Javaを用いたシステム開発に参加し、その後
Hadoopの導入検証に従事。
主要事業にHadoopを導入したのちビッグデータGに合流。現事業対応リー
ダー、画像解析など技術開発に従事。
シニアアーキテクトとしてプロフェッショナル職になった後に、現職。
海水魚飼育
外国産昆虫飼育
スキューバダイビング
自己紹介
5Copyright © Recruit Technologies Co., Ltd. All Rights Reserved.
リクルートのビジネスモデル
さまざまなドメインでマッチングモデルに基づいたビジネスを展開。
Matching
Business
HR
Bridal
Group
Buying
Used
Cars
Travel
Real
Estate
Beauty Gourmet
Social Games
E-Commerce
Ad Network
New Business
Consumers Enterprise
6Copyright © Recruit Technologies Co., Ltd. All Rights Reserved.
リクルートの事業領域
「選択」をサポートするような情報サービスを展開
Life event area Lifestyle Area
Travel
IT/ TrendLifestyle
Health & Beauty
Job Hunt
Marriage
Job Change
Home Purchase
Car Purchase
Child Birth
Education
7Copyright © Recruit Technologies Co., Ltd. All Rights Reserved.
リクルートテクノロジーズの立ち位置
Infrastructure
/Security
Project
Management
UXD/SEO
Internet Marketing
Big Data Solutions
Technology R&D
Systems
Development
リクルートホールディングスは7つの主要事業会社と3つの機能会社から成り立っている。
Recruit
Holdings
Recruit Career
Recruit Sumai Company
Recruit Lifestyle
Recruit Jobs
Recruit Staffing
Recruit Marketing Partners
Staff service Holdings
Recruit Technologies
Recruit Administration
Recruit Communications
Business/
Service
Function/
Support
8Copyright © Recruit Technologies Co., Ltd. All Rights Reserved.
ビッグデータ解析部門の組織体制
ITソリューション統括部
・
・
・
ビッグデータビジネス
コンサルティング
グループ
ビッグデータ人材領域
グループ
ビッグデータ販促・
バイト領域グループ
ソリューションを軸
とした予測、BI、競
合分析
人材領域を軸とした
各種レコメンドの開
発
販促・バイトを軸と
した各種レコメンド
の開発
ビッグデータID・
ポイント領域グループ
IDポイントを軸とし
た各種レコメンドの
開発
ビッグデータプロダクト
開発グループ
ビッグデータインフラ
グループ
IDポイントビッグ
データシステムグルー
プ
ソリューションを軸
とした各種R&D系
プロダクトの開発
ビックデータ基盤の
構築・運用
ビックデータ部
IDポイントPRJの基
盤の
構築・運用
9Copyright © Recruit Technologies Co., Ltd. All Rights Reserved.
プロダクト開発Gのミッション・ポリシー
 最新技術をいち早く検証・実装し、誰でも早く簡単に利用できるビッグデータ・プロダクトまで
実装を深め、リクルートグループすべての人たちに提供する。最近は必然的にAIといわれる
領域の技術が多い。
 基本的に、技術は使ってもらわないと意味がない。施策出口のアイディアは常に膨らませて
おく。
 各プロダクトごとにプロダクトオーナー制を敷く。プロダクトオーナーにはプロダクトに関するすべ
ての責任と報酬が乗ってくる。
 最終目的(導入件数やKPI目標)の設定後は、切り取り次第。手段も自走して考える。
10Copyright © Recruit Technologies Co., Ltd. All Rights Reserved.
「AI」の捉え方
11Copyright © Recruit Technologies Co., Ltd. All Rights Reserved.
『リアル・スティール』
映画のパッケージ
『A.I. 』
映画のパッケージ
昨今のAI事情
 私自身、AIという言葉は好きでありません。
 それでも自分をだましだまし使っています。説明が格段にわかりやすく
なるからです。
出典:http://movies.yahoo.co.jp/movie/A.I./163028/ 出典:http://movies.yahoo.co.jp/movie/%E3%83%AA%E3%82%A2%E3%83%AB%E3%83%BB%E3%82%B9%E3%83%86%E3%82%A3%E3%83%BC%E3%83%AB/339986/
12Copyright © Recruit Technologies Co., Ltd. All Rights Reserved.
AIとは
 割愛
13Copyright © Recruit Technologies Co., Ltd. All Rights Reserved.
 AIのスコープをぎゅっと絞り、リクルート内では深層学習が得意とする特徴量抽出の自動化
にフォーカス。
 例えば、
特徴量抽出にフォーカス
(0,0,1,0,0,0・・・・
・・・・・・・・・・・・・・
・・・・・・・・・)
自動特徴抽出
ベクトル化
角がある
足が6本
茶色
・・・
無意識の
特徴抽出
ラベルと特徴
の紐付
predict
カブトムシっぽい
例えば500枚以上
predict
似てるけど違う。
14Copyright © Recruit Technologies Co., Ltd. All Rights Reserved.
AIの施策適応のスコープ
 特徴抽出はテキストの分類や画像の分類、文章作成、校閲など人が無意識に頭の中で
行なっている作業。
 この特徴抽出という作業は、社内を見渡せばあちらこちらに存在する。
 人が属人的なルール、感覚で判断していて、なおかつルーチンな業務が多い。
 特徴抽出の自動化ができれば、人の簡単な行動を機械で模倣ができる・・・はず。
人の単純作業の一部リプレイスを施策出口候補へ
15Copyright © Recruit Technologies Co., Ltd. All Rights Reserved.
AI案件推進の際に必要な要素
AI案件推進のために必要なもの
教師データ
アルゴリズム
モデリング、チューニングノウハウ
施策適応
・施策とモデル、アルゴリズムを結びつける知識が必要
・AIとよばれるもののメリデメを説明することができる
→重要であるが、実はこの層の人材が枯渇
・機械学習やAIの仕組み理解
・パラメータチューニングなどの勘所
・アルゴリズムの選択
→採用や、他の企業ごと人を買収
Ex)salesforce社→metamind
IBM社→AlchemyAPI
• オープンソースの利用
• 社外の商用製品の利用
・自社データ
・クラウドソーシングで集める
・データ購入
・まだ取得できていないデータを収集・顕在化
プロダクト開発Gの
メンバーがサポート。
リクルート内に
ある豊富なデータ源
+
プロダクト開発Gの
経験。
16Copyright © Recruit Technologies Co., Ltd. All Rights Reserved.
A3RT概要
17Copyright © Recruit Technologies Co., Ltd. All Rights Reserved.
A3RTの導入
 リクルートテクノロジーズでは社内での機械学習並びにDeep Learningなどに代
表されるAI系ロジックを同一ブランドで統一・整備をし、社内に展開している。
18Copyright © Recruit Technologies Co., Ltd. All Rights Reserved.
開発・構築にいたった理由
案件ごとのフルスクラッチ開発
一番自由度が高く最適な機能が作れる。
一方、一から検討・開発するため、ど
うしても時間・コストがかかるので、
全てのケースに対応できない
外部のAPI群
 一部は活用すべきだが、リクルートグ
ループでの活用にそのまま使える機能
が不足。汎用性が仇になる。
【効果的な機能】リクルートグループ特化による効果的なソリューションの開発。
【導入しやすさ】リクルート汎用的な機能についてはAPI化。
導入の迅速化/低コスト化。
【最新技術】 バックエンドのアルゴリズム、インフラ環境も常に最新かつ適
切なものが適用できるよう継続的に検証。
【効率など付加価値】オペレーション部分にも最新技術を適応。
精度/運用効率向上に向けた取り組みを継続的に実施。
(DeepLearningの自動パラメータチューニング機能他)
 リクルートグループにおいて機械学習によるソリューション活用の敷居はまだまだ高く、活用をス
ピードアップ・拡大するためには設計~開発~運用に工数が多くかかっていた。
 データ活用・ロジック作成に気を取られ、ビジネス活用まで考えがいたらない状況。
19Copyright © Recruit Technologies Co., Ltd. All Rights Reserved.
A3RTサービス一覧
 A3RTでは現在、下記のようなAPIサービスを整備・開発。
 これまでデータ活用が数多く進んでいるカスタマーサイドだけではなく、クライアントサイド、営業
シーン、制作業務などでの利用を想定し開発している。
レコメンド
バナーターゲティング
OCR 画像解析
原稿サジェスト
文章校閲文章要約
文章分類 音声テキスト化
屋内位置測位
ChatBot(協働開発)
転移学習
マルチモーダル
データマスキング(協働開発)
20Copyright © Recruit Technologies Co., Ltd. All Rights Reserved.
API化による効率化
リクルート内サービス
モデル化
API
API
API
モデル・技術共有
コール
再学習
モデル・ナレッジのプーリング
APIによる設計効率化
21Copyright © Recruit Technologies Co., Ltd. All Rights Reserved.
プロダクトとそのユースケース
22Copyright © Recruit Technologies Co., Ltd. All Rights Reserved.
AI案件推進の際に必要な要素
AI案件推進のために必要なもの
教師データ
アルゴリズム
モデリング、チューニングノウハウ
施策適応
・施策とモデル、アルゴリズムを結びつける知識が必要
・AIとよばれるもののメリデメを説明することができる
→重要であるが、実はこの層の人材が枯渇
・機械学習やAIの仕組み理解
・パラメータチューニングなどの勘所
・アルゴリズムの選択
→採用や、他の企業ごと人を買収
Ex)salesforce社→metamind
IBM社→AlchemyAPI
• オープンソースの利用
• 社外の商用製品の利用
・自社データ
・クラウドソーシングで集める
・データ購入
・まだ取得できていないデータを収集・顕在化
プロダクト開発Gの
メンバーがサポート。
リクルート内に
ある豊富なデータ源
+
プロダクト開発Gの
経験。
23Copyright © Recruit Technologies Co., Ltd. All Rights Reserved.
施策接続の中でエンカウントする現場の勘違い
 精度を100%にしたい。
 そもそも人間が作った教師データが100%の精度ではないことを知るべし。
 データあります。
 ただ教師データがあるのと使える形式の教師データがあるというのは話が違う。
 とにかくAIをやりたい病。
 目的なくして、技術の意味なし。
 一撃必殺の最強魔法の類と思っている。
 何かパッと持ってきて、すぐできて、一発OK運用なし。
24Copyright © Recruit Technologies Co., Ltd. All Rights Reserved.
今回ご紹介するプロダクト
画像解析 文章校閲 文章分類
一部転用
25Copyright © Recruit Technologies Co., Ltd. All Rights Reserved.
Image Paradise 画像解析API
26Copyright © Recruit Technologies Co., Ltd. All Rights Reserved.
Convolutional Neural Network
Convolutional層
パッチごとに複数の特徴を抽出
Pooling層
周辺の特徴量をまとめ上げ、
新たな特徴量として再設計することで次元圧縮
27Copyright © Recruit Technologies Co., Ltd. All Rights Reserved.
利用する環境とライブラリ
インフラ CNN用ライブラリ
28Copyright © Recruit Technologies Co., Ltd. All Rights Reserved.
カーセンサー:写真からの車種判別機能
事例紹介①
29Copyright © Recruit Technologies Co., Ltd. All Rights Reserved.
背景
かっこいい!
名前は?
名前わかんね
大きな
機会損失
30Copyright © Recruit Technologies Co., Ltd. All Rights Reserved.
自動車車種判定
 自動車を良く知らない初心者の人間にとって、車種や自動車メーカーの名前を知ることは難しく、
より直感的に自動車を探すことができるインターフェースが必要と想定。
 画像判別により車種を判別できる機能を開発し、初心者フレンドリーなインターフェースを実現。
 判別精度は人気車種上位30種類において90%以上にものぼる。
既存の検索導線へ
31Copyright © Recruit Technologies Co., Ltd. All Rights Reserved.
車種判別フロー
…
…
…
CNNで作成した
車種判別モデル車の写真
2674車種
・ワゴンR
・プリウス
・フィット
・フェラーリ
・エスティマ
・
・
・2674車種の精度
68.2%
32Copyright © Recruit Technologies Co., Ltd. All Rights Reserved.
学習データの作成に工夫
外装
ラベル名 画像例
内装
トランク
ダッシュ
ボード
その他
学習枚数
約3500枚
約2000枚
約1000枚
約1000枚
約2500枚
内装〜その他を判別する
モデルを先に作成。
カーセンサーの約40万物件
の画像を全て投入
外装と判別された約80万枚を
そのまま学習に利用
33Copyright © Recruit Technologies Co., Ltd. All Rights Reserved.
学習データの自動収集の仕組み作り
課題として流通量が少ない車種(=学習枚数少ない)は
精度が低く、継続的な学習の仕組みづくりが必要。
利用者に正解を
フードバックしてもらう機能を実
装し、再学習のスピード。
画像とラベルがセットで蓄積で
きるので、追加学習が可能!
AIは一撃必殺の魔法ではなく、基本的に継続的に学習させ、改善していくものである。
このような認識を関係者各位に周知させ、継続的学習の仕組みを自ら推進し作っていと
いった「AIの概念周知」は重要なファクターのひとつである。
34Copyright © Recruit Technologies Co., Ltd. All Rights Reserved.
事例紹介② カーセンサー 色タグ付与
• カーセンサーでは、一物件
につき、20枚くらいの画像
が存在
• これに外装・トランク・ダッ
シュボード・内装・その他な
どラベルを振り、内装判別
用のモデルを作成
内装の確率が一番高い
画像を探索
色を抽出して、最も広範囲に利用
される色をシートの色として判別
範囲が多い順に
・ライトブルー
・黒
・・・
→シート色のタグとして、
「ライトブルー」を付与!
学習データ収集 内装画像探索 内装色判別
内装判別をするための学習データ
収集
1 2 3
 「メディアで不足・もっと見たかったクルマの情報」を調査したところ、1位が「クルマの内装の写真」であること、
また、約 35%の回答者が、中古車の「内装」を重視してクルマ選びをしていることが判明。
 一方で既存メディアには内装色で検索という機能が存在しない。
35Copyright © Recruit Technologies Co., Ltd. All Rights Reserved.
Linné 文章分類API
36Copyright © Recruit Technologies Co., Ltd. All Rights Reserved.
リクルートにおいてテキストが持つ重要性
原稿に不備があると。。。
いい求人ないかなー??
業界No1の実績を誇ります。
No1
37Copyright © Recruit Technologies Co., Ltd. All Rights Reserved.
TEXT CLASSIFICATION API : Linne
今回はクチコミの審査効率化を目的として利用
大量のクチコミ
見きれない!
!
チェック項目多す
ぎ!!
掲載OK
掲載NG
大量のクチコミ
掲載OK 6%
掲載NG 94%
たしかにNG
!!
掲載NG
38Copyright © Recruit Technologies Co., Ltd. All Rights Reserved.
TEXT CLASSIFICATION API : Linne
今回の学習データはテキストとラベルの対
私はタコです。 審査OK
あなたが嫌いです。 審査NG
あなたが嫌いではないです。 審査OK
赤ちゃんLinne
大量に教え込ませる
審査OK
なんでこんなんもわからんのや
賢いLinne
39Copyright © Recruit Technologies Co., Ltd. All Rights Reserved.
TEXT CLASSIFICATION API : Linne
ConvNetは画像のためのモデル
→入力は32×32(×3)の行列orテンソルで固定長
私はこの景色が好きだ。
Embedding
私
僕
女
男
景色
好き
各単語をn次元ベクトルに変換
私 は この だ 。 <eos>
…
n次元ベクトルを並べて行列作成
40Copyright © Recruit Technologies Co., Ltd. All Rights Reserved.
TEXT CLASSIFICATION API : Linne
固定長に対応するために、パディングを行う
私はこの景色が好きだ。(8単語)
私は阪大出身です。(6単語)
小さいときから英語が得意でした。(9単語)
列数が9になるようにpadding
41Copyright © Recruit Technologies Co., Ltd. All Rights Reserved.
TEXT CLASSIFICATION API : Linne
学習の手順
私はこの景色が好きだ。
形態素解析
[ 私, は, この, 景色, が, 好き, だ, 。]
Embedding
学習データ [“私はこの景色が好きだ。”, 審査OK]
審査OK
掲載OK 78%
掲載NG 22%
42Copyright © Recruit Technologies Co., Ltd. All Rights Reserved.
TEXT CLASSIFICATION API : Linne
AWS cloud
クチコミテキスト
掲載OK 78%
掲載NG 22%
各ラベルへの帰属確率
クチコミ審査者
掲載OK
実際の活用フロー
教師学習がまだまだ主流の今、100%の精度はありえない。まずは過度な期待をせず
に、できるところからAIを用いて人の作業負担を減らし、
共に成長していく仕組みづくりが必要である。
43Copyright © Recruit Technologies Co., Ltd. All Rights Reserved.
テキスト分類ロジックをChat-Botへ応用
によるQA分類ロジックを利用
44Copyright © Recruit Technologies Co., Ltd. All Rights Reserved.
日常会話領域での最新技術の利用
感情指定返信学習
「〜な感情で応答せよ」という指令を質問文にラベル付けすることで、
所望の感情での回答を行う機能を実装。
対話破綻学習
質問文がそれにふさわしいかどうかをロジスティック回帰により判定す
る仕組みを取り入れ、回答のふさわしさという観点で精度向上を
図っている。
45Copyright © Recruit Technologies Co., Ltd. All Rights Reserved.
ARGON 文章校閲API
46Copyright © Recruit Technologies Co., Ltd. All Rights Reserved.
document proofreading api : ArGON
Customer Client
原稿
原稿
原稿
求人原稿に間違いがあると、マッチングの機会損失に!!
なので人手と時間をかけて大量の項目をチェックしている
47Copyright © Recruit Technologies Co., Ltd. All Rights Reserved.
document proofreading api : ArGON
原稿の校閲の自動化
校閲項目 実現方法
説明会などの日付が過去の日付にな
っていないか?
ルールベース
日付と曜日がずれていないか? ルールベース
電話番号は正しいか?
桁数などをチェックする
ルールベース
差別表現は含まれていないか? ルールベースと機械学習
誤字脱字 機械学習
住所は正しいか ルールベース
*校閲項目の一部抜粋
48Copyright © Recruit Technologies Co., Ltd. All Rights Reserved.
document proofreading api : ArGON
なぜ機械学習が必要か??
“私は妄奏する。”
→“妄奏”という単語は存在しないので辞書と突き合わせればOK
“税金を収める。”
→”納める”が正解だが”収める”も辞書には存在している
“税金が納める。”
→文章として不自然。”が”ではなく”を”が適当。
単語ごとにみるのではなく文脈(系列)を読み取る必要
49Copyright © Recruit Technologies Co., Ltd. All Rights Reserved.
document proofreading api : ArGON
“水は私達の生活は欠かせない。”input
文章としておかしくしている単語を検知
代わりとなる単語をサジェストoutput
“水は私達の生活【は】欠かせない。”
“に”ではありませんか?
50Copyright © Recruit Technologies Co., Ltd. All Rights Reserved.
document proofreading api : ArGON
“水は私達の生活は欠かせない。”
形態素解析
水 は 私達 の 生活 は 欠かせ ない 。
x1 x2 x3 x4 x5 x6 x7 x8 x9
p(x2|x1)
p(x3|x1,x2
)
p(x4|x1,…
,x3)
p(x5|x1,…
,x4)
p(x6|x1,…
,x5)
p(x7|x1,…
,x6)
p(x8|x1,…
,x7)
p(x9|x1,…
,x8)
確率の低くなるものを検知し、代わりをサジェスト
51Copyright © Recruit Technologies Co., Ltd. All Rights Reserved.
document proofreading api : ArGON
Recurrent Neural Network (系列データに対してのNeural Network)
例えば、
(1) 音声データ(波形)
(2) 文書データ(単語)
(3) 映像データ(画像)
52Copyright © Recruit Technologies Co., Ltd. All Rights Reserved.
document proofreading api : ArGON
文書データに関しては、特定の文字列の後にくる単語の予測
ここには動詞がくるはず
主語がHeなので
三人称単数形
文章の構成に使われているルールを学習させて予測をする
→誤字脱字の検知に使えるのでは??
53Copyright © Recruit Technologies Co., Ltd. All Rights Reserved.
document proofreading api : ArGON
Recurrent Neural Network
xt h1t h2t yt
h2t-1
前の系列(t-1)の時の中間層の状態を利用して学習
考え方的には過去の系列全ての状態を考慮して学習できる
54Copyright © Recruit Technologies Co., Ltd. All Rights Reserved.
document proofreading api : ArGON
何度も掛け算をするため重みが爆発したり、勾配が消失する
結果、長期的な依存性がなくなる
input
hidden
output
time t-q t-5 t-4 t-3 t-2 t-1 t
〜〜
…
55Copyright © Recruit Technologies Co., Ltd. All Rights Reserved.
document proofreading api : ArGON
勾配消失問題を解消するために特殊な隠れノードを追加したモデル
xt
ht-1
xt ht-1 xt ht-1
ht
×1.0
tanh tanh
sigmoidsigmoid
input gate output gate
Constant Error Carousel
56Copyright © Recruit Technologies Co., Ltd. All Rights Reserved.
document proofreading api : ArGON
input embed LSTM output
embed層では各単語の特徴ベクトルを算出する(次元削減)
outputでは総和が1となる確率ベクトルを出す
ネットワーク全体
57Copyright © Recruit Technologies Co., Ltd. All Rights Reserved.
document proofreading api : ArGON
input embed LSTM output
学習フェーズ
“私は野球が好きです。”
“野球”
target
“が”
58Copyright © Recruit Technologies Co., Ltd. All Rights Reserved.
document proofreading api : ArGON
予測フェーズ
input embed LSTM output
“私は野球に好きです。”
“野球” “私は野球”
“に”の確率
高い確率の単語は?
59Copyright © Recruit Technologies Co., Ltd. All Rights Reserved.
document proofreading api : ArGON
48549units 400units 400units 48549units400units
input
embed
LSTM
(GRU)
outputFeed
Forward
+
Deep Residual Learning
60Copyright © Recruit Technologies Co., Ltd. All Rights Reserved.
ArGonのデモ
61Copyright © Recruit Technologies Co., Ltd. All Rights Reserved.
R&Dについて
62Copyright © Recruit Technologies Co., Ltd. All Rights Reserved.
R&Dによるデータ解析活用ポリシー
etc
 内製開発、内製ロジック作成やオープンソース利用のみが、技術によるビジネス貢献ではない。
 常に情報を探り、集め、あらゆる手段でデータ解析をビジネス貢献の手段として確立させるようベストを尽くす必要がある。
Etc…
63Copyright © Recruit Technologies Co., Ltd. All Rights Reserved.
スタートアップ協業シリーズ
 海外出張によって訪問した現地(イスラエル・US)の先進スタートアップ企業とディスカッション。
 プロダクト利用だけではなく、協働検証・開発なども行っている。
社内検証
インフラ
オペレーションAI
類似画像
アフィリエイト
屋内位置情報測位
説明会などイ
ベントでの流
量分析想定
ビッグデータ
部内部Hadoop
環境での利用
画像を生かし
た媒体間の
クロスユース
屋内位置情報取得
によるカスタマー
情報リッチ化
社内インフラ運用
のモニタリングを
知見習得?
インターネット中
の画像を集客元に
64Copyright © Recruit Technologies Co., Ltd. All Rights Reserved.
Cotori –屋内位置測位
 GPSではできない屋内の測位を正確に行うSDK。
 屋内でGPSと同じようにトラッキングをしたり、非常
に小さいジオフェンスを貼ることが可能。
 またwifiや地磁気の情報を使用するため非常に省電力
で動くことが特徴
 オフラインイベントなどでの解析に利用できないかを
検討中。
×
65Copyright © Recruit Technologies Co., Ltd. All Rights Reserved.
半教師有り学習による精度向上
• VATを用いた半教師有り学習
• 半教師有り学習:少量の教師付きデータと大量の教師なしデータを用いて、比較的高精度のモデル
作成する手法。
mnist[0~9の手書きデータ]を利用し、
以下を検証。
・60000万枚の画像を学習に使った精度
・各枚数を学習に利用した時の精度
・各枚数を教師有り、残りを教師なしと
して学習した精度
教師有りを600枚使っただけで、ほぼ
60000枚全て利用した時と同様の精度が
得られていることがわかる。
学習利用枚数
誤
差
率
(%)
大量の画像全てに正解ラベルを付与しなくても良い。
よって、学習データの収集コストが大幅に下がることが期待できる。
66Copyright © Recruit Technologies Co., Ltd. All Rights Reserved.
まとめと今後
67Copyright © Recruit Technologies Co., Ltd. All Rights Reserved.
AI案件を回すのに必要な力
技術力
施策接続
コミット力
情報力
68Copyright © Recruit Technologies Co., Ltd. All Rights Reserved.
データ解析の利用シーン拡大
customer
Client
Attracting
customers
Select Action Effect Information
published
Target
client
Matching
 cross tabulation
 Recommendation
 Image search
 Advertising expenses
optimization
 Ad Targeting
 Manuscript reviewer
 Auto review
 Article creation support
 Sales support
 Competitive analysis
69Copyright © Recruit Technologies Co., Ltd. All Rights Reserved.
大切にしたいこと
データの活用周りの商品(エンタープライズ、オープンソース問わず)、
ロジック、活用事例などの最新情報をなるべくキャッチしておく。
どんなデータでも扱えるように知見を集約しておく、難しい技術や課題
にも積極的にチャレンジしていく。
コードのオープンソース化が進み、競合優位要因が「コード保有」から
「データ保有」「施策接続力」にパラダイムシフト。ビジネスの感覚も忘れ
ずに、事業と二人三脚で案件を進める。
1
2
3
70Copyright © Recruit Technologies Co., Ltd. All Rights Reserved.
速報
A3RT-APIの一部を社外公開すべく鋭意準備・開発中です!
どうぞご期待ください。
ご静聴ありがとうございました
リクルートテクノロジーズ

More Related Content

What's hot

What's hot (20)

機械学習で泣かないためのコード設計 2018
機械学習で泣かないためのコード設計 2018機械学習で泣かないためのコード設計 2018
機械学習で泣かないためのコード設計 2018
 
MLflowによる機械学習モデルのライフサイクルの管理
MLflowによる機械学習モデルのライフサイクルの管理MLflowによる機械学習モデルのライフサイクルの管理
MLflowによる機械学習モデルのライフサイクルの管理
 
Shinise maker minade_agile_2021_scrum_festo_saka
Shinise maker minade_agile_2021_scrum_festo_sakaShinise maker minade_agile_2021_scrum_festo_saka
Shinise maker minade_agile_2021_scrum_festo_saka
 
失敗から学ぶ機械学習応用
失敗から学ぶ機械学習応用失敗から学ぶ機械学習応用
失敗から学ぶ機械学習応用
 
ChatGPT 人間のフィードバックから強化学習した対話AI
ChatGPT 人間のフィードバックから強化学習した対話AIChatGPT 人間のフィードバックから強化学習した対話AI
ChatGPT 人間のフィードバックから強化学習した対話AI
 
大学院進学が切り拓く情報系学生のキャリア
大学院進学が切り拓く情報系学生のキャリア大学院進学が切り拓く情報系学生のキャリア
大学院進学が切り拓く情報系学生のキャリア
 
【メタサーベイ】基盤モデル / Foundation Models
【メタサーベイ】基盤モデル / Foundation Models【メタサーベイ】基盤モデル / Foundation Models
【メタサーベイ】基盤モデル / Foundation Models
 
見やすいプレゼン資料の作り方 - リニューアル増量版
見やすいプレゼン資料の作り方 - リニューアル増量版見やすいプレゼン資料の作り方 - リニューアル増量版
見やすいプレゼン資料の作り方 - リニューアル増量版
 
Semantic segmentation
Semantic segmentationSemantic segmentation
Semantic segmentation
 
新規事業が対峙する現実からエンジニアリングを俯瞰する #devsumiB #devsumi
新規事業が対峙する現実からエンジニアリングを俯瞰する #devsumiB #devsumi新規事業が対峙する現実からエンジニアリングを俯瞰する #devsumiB #devsumi
新規事業が対峙する現実からエンジニアリングを俯瞰する #devsumiB #devsumi
 
深層学習による自然言語処理入門: word2vecからBERT, GPT-3まで
深層学習による自然言語処理入門: word2vecからBERT, GPT-3まで深層学習による自然言語処理入門: word2vecからBERT, GPT-3まで
深層学習による自然言語処理入門: word2vecからBERT, GPT-3まで
 
事業が対峙する現実からエンジニアリングを俯瞰する #devlove
事業が対峙する現実からエンジニアリングを俯瞰する #devlove事業が対峙する現実からエンジニアリングを俯瞰する #devlove
事業が対峙する現実からエンジニアリングを俯瞰する #devlove
 
データサイエンティストの仕事とデータ分析コンテスト
データサイエンティストの仕事とデータ分析コンテストデータサイエンティストの仕事とデータ分析コンテスト
データサイエンティストの仕事とデータ分析コンテスト
 
45分間で「ユーザー中心のものづくり」ができるまで詰め込む
45分間で「ユーザー中心のものづくり」ができるまで詰め込む45分間で「ユーザー中心のものづくり」ができるまで詰め込む
45分間で「ユーザー中心のものづくり」ができるまで詰め込む
 
最適輸送の解き方
最適輸送の解き方最適輸送の解き方
最適輸送の解き方
 
トップエンジニアが実践する思考整理法~テクニカルライティングを用いた課題解決の基本
トップエンジニアが実践する思考整理法~テクニカルライティングを用いた課題解決の基本トップエンジニアが実践する思考整理法~テクニカルライティングを用いた課題解決の基本
トップエンジニアが実践する思考整理法~テクニカルライティングを用いた課題解決の基本
 
ML Ops 実装の現場から
ML Ops 実装の現場からML Ops 実装の現場から
ML Ops 実装の現場から
 
研究効率化Tips Ver.2
研究効率化Tips Ver.2研究効率化Tips Ver.2
研究効率化Tips Ver.2
 
CV分野での最近の脱○○系3選
CV分野での最近の脱○○系3選CV分野での最近の脱○○系3選
CV分野での最近の脱○○系3選
 
GOの機械学習システムを支えるMLOps事例紹介
GOの機械学習システムを支えるMLOps事例紹介GOの機械学習システムを支えるMLOps事例紹介
GOの機械学習システムを支えるMLOps事例紹介
 

Viewers also liked

Viewers also liked (20)

ドコモオープンイノベーションの取り組みと提供APIのIoT展開について
ドコモオープンイノベーションの取り組みと提供APIのIoT展開についてドコモオープンイノベーションの取り組みと提供APIのIoT展開について
ドコモオープンイノベーションの取り組みと提供APIのIoT展開について
 
とある受託ベンダの開発環境
とある受託ベンダの開発環境とある受託ベンダの開発環境
とある受託ベンダの開発環境
 
151212_高専講演会用資料_菅野
151212_高専講演会用資料_菅野151212_高専講演会用資料_菅野
151212_高専講演会用資料_菅野
 
「今後現場で求められるAIエンジニア像とは?」株式会社ホットリンク 榊 剛史
「今後現場で求められるAIエンジニア像とは?」株式会社ホットリンク  榊 剛史「今後現場で求められるAIエンジニア像とは?」株式会社ホットリンク  榊 剛史
「今後現場で求められるAIエンジニア像とは?」株式会社ホットリンク 榊 剛史
 
Azure Bot!! Microsoft Bot Framework で簡単Bot開発
Azure Bot!! Microsoft Bot Framework で簡単Bot開発Azure Bot!! Microsoft Bot Framework で簡単Bot開発
Azure Bot!! Microsoft Bot Framework で簡単Bot開発
 
Googleのインフラ技術から考える理想のDevOps
Googleのインフラ技術から考える理想のDevOpsGoogleのインフラ技術から考える理想のDevOps
Googleのインフラ技術から考える理想のDevOps
 
ウォーターフォール・アジャイル・DevOps どんなチームでも開発・テスト・リリースでVSTS/TFSをフル活用する方法
ウォーターフォール・アジャイル・DevOps どんなチームでも開発・テスト・リリースでVSTS/TFSをフル活用する方法ウォーターフォール・アジャイル・DevOps どんなチームでも開発・テスト・リリースでVSTS/TFSをフル活用する方法
ウォーターフォール・アジャイル・DevOps どんなチームでも開発・テスト・リリースでVSTS/TFSをフル活用する方法
 
Azure serverless!! azure functionsでサーバーを意識しない開発
Azure serverless!! azure functionsでサーバーを意識しない開発Azure serverless!! azure functionsでサーバーを意識しない開発
Azure serverless!! azure functionsでサーバーを意識しない開発
 
[DO17] セゾン情報システムズの CTO 小野氏による、伝統的 Sier におけるモダン開発への挑戦
[DO17] セゾン情報システムズの CTO 小野氏による、伝統的 Sier におけるモダン開発への挑戦[DO17] セゾン情報システムズの CTO 小野氏による、伝統的 Sier におけるモダン開発への挑戦
[DO17] セゾン情報システムズの CTO 小野氏による、伝統的 Sier におけるモダン開発への挑戦
 
スタディサプリを支えるデータ分析基盤 ~設計の勘所と利活用事例~
スタディサプリを支えるデータ分析基盤 ~設計の勘所と利活用事例~スタディサプリを支えるデータ分析基盤 ~設計の勘所と利活用事例~
スタディサプリを支えるデータ分析基盤 ~設計の勘所と利活用事例~
 
銀行ロビーアシスタント
銀行ロビーアシスタント銀行ロビーアシスタント
銀行ロビーアシスタント
 
リクルートにおけるセキュリティ施策方針とCSIRT組織運営のポイント
リクルートにおけるセキュリティ施策方針とCSIRT組織運営のポイントリクルートにおけるセキュリティ施策方針とCSIRT組織運営のポイント
リクルートにおけるセキュリティ施策方針とCSIRT組織運営のポイント
 
事業とUXデザイン
事業とUXデザイン事業とUXデザイン
事業とUXデザイン
 
EMRでスポットインスタンスの自動入札ツールを作成する
EMRでスポットインスタンスの自動入札ツールを作成するEMRでスポットインスタンスの自動入札ツールを作成する
EMRでスポットインスタンスの自動入札ツールを作成する
 
カーセンサーで深層学習を使ってUX改善を行った事例とそこからの学び
カーセンサーで深層学習を使ってUX改善を行った事例とそこからの学びカーセンサーで深層学習を使ってUX改善を行った事例とそこからの学び
カーセンサーで深層学習を使ってUX改善を行った事例とそこからの学び
 
Company Recommendation for New Graduates via Implicit Feedback Multiple Matri...
Company Recommendation for New Graduates via Implicit Feedback Multiple Matri...Company Recommendation for New Graduates via Implicit Feedback Multiple Matri...
Company Recommendation for New Graduates via Implicit Feedback Multiple Matri...
 
RANCHERを使ったDev(Ops)
RANCHERを使ったDev(Ops)RANCHERを使ったDev(Ops)
RANCHERを使ったDev(Ops)
 
ユーザー企業内製CSIRTにおける対応のポイント
ユーザー企業内製CSIRTにおける対応のポイントユーザー企業内製CSIRTにおける対応のポイント
ユーザー企業内製CSIRTにおける対応のポイント
 
「リクルートデータセット」 ~公開までの道のりとこれから~
「リクルートデータセット」 ~公開までの道のりとこれから~「リクルートデータセット」 ~公開までの道のりとこれから~
「リクルートデータセット」 ~公開までの道のりとこれから~
 
HadoopをBQにマイグレしようとしてる話
HadoopをBQにマイグレしようとしてる話HadoopをBQにマイグレしようとしてる話
HadoopをBQにマイグレしようとしてる話
 

Similar to リクルート式AIの活用法

Similar to リクルート式AIの活用法 (20)

リクルートにおけるマルチモーダル Deep Learning Web API 開発事例
リクルートにおけるマルチモーダル Deep Learning Web API 開発事例リクルートにおけるマルチモーダル Deep Learning Web API 開発事例
リクルートにおけるマルチモーダル Deep Learning Web API 開発事例
 
Struggling with BIGDATA -リクルートおけるデータサイエンス/エンジニアリング-
Struggling with BIGDATA -リクルートおけるデータサイエンス/エンジニアリング-Struggling with BIGDATA -リクルートおけるデータサイエンス/エンジニアリング-
Struggling with BIGDATA -リクルートおけるデータサイエンス/エンジニアリング-
 
JSUG 2018 BTC
JSUG 2018 BTCJSUG 2018 BTC
JSUG 2018 BTC
 
リクルートはいかにして、ディープラーニング(深層学習)の導入を成功させたか
リクルートはいかにして、ディープラーニング(深層学習)の導入を成功させたかリクルートはいかにして、ディープラーニング(深層学習)の導入を成功させたか
リクルートはいかにして、ディープラーニング(深層学習)の導入を成功させたか
 
A3RT - the details and actual use cases of "Analytics & Artificial intelligen...
A3RT - the details and actual use cases of "Analytics & Artificial intelligen...A3RT - the details and actual use cases of "Analytics & Artificial intelligen...
A3RT - the details and actual use cases of "Analytics & Artificial intelligen...
 
A3RT -The details and actual use cases of“Analytics & Artificial intelligence...
A3RT -The details and actual use cases of“Analytics & Artificial intelligence...A3RT -The details and actual use cases of“Analytics & Artificial intelligence...
A3RT -The details and actual use cases of“Analytics & Artificial intelligence...
 
不足するAI人材に対する「パソナテックの人材育成ソリューション」
不足するAI人材に対する「パソナテックの人材育成ソリューション」不足するAI人材に対する「パソナテックの人材育成ソリューション」
不足するAI人材に対する「パソナテックの人材育成ソリューション」
 
Coldfusionを活かすシステム企画をリーンスタートアップに学ぶ
Coldfusionを活かすシステム企画をリーンスタートアップに学ぶColdfusionを活かすシステム企画をリーンスタートアップに学ぶ
Coldfusionを活かすシステム企画をリーンスタートアップに学ぶ
 
リクルート式 自然言語処理技術の適応事例紹介
リクルート式 自然言語処理技術の適応事例紹介リクルート式 自然言語処理技術の適応事例紹介
リクルート式 自然言語処理技術の適応事例紹介
 
[db tech showcase Tokyo 2018] #dbts2018 #D23 『機械学習の自動化を実現するDataRobotによるAIの民主化とは』
[db tech showcase Tokyo 2018] #dbts2018 #D23 『機械学習の自動化を実現するDataRobotによるAIの民主化とは』[db tech showcase Tokyo 2018] #dbts2018 #D23 『機械学習の自動化を実現するDataRobotによるAIの民主化とは』
[db tech showcase Tokyo 2018] #dbts2018 #D23 『機械学習の自動化を実現するDataRobotによるAIの民主化とは』
 
ils2023
ils2023ils2023
ils2023
 
ils2023
ils2023ils2023
ils2023
 
ils.pptx
ils.pptxils.pptx
ils.pptx
 
R&D部門におけるデータ共有・利活用 (AI,MI)は、なぜ難しいのか?
R&D部門におけるデータ共有・利活用 (AI,MI)は、なぜ難しいのか?R&D部門におけるデータ共有・利活用 (AI,MI)は、なぜ難しいのか?
R&D部門におけるデータ共有・利活用 (AI,MI)は、なぜ難しいのか?
 
システム高速化フォーラム向け プッシュ通知基盤のアーキテクチャ
システム高速化フォーラム向け プッシュ通知基盤のアーキテクチャシステム高速化フォーラム向け プッシュ通知基盤のアーキテクチャ
システム高速化フォーラム向け プッシュ通知基盤のアーキテクチャ
 
リクルートのビッグデータ活用基盤とデータ活用に向けた取組み
リクルートのビッグデータ活用基盤とデータ活用に向けた取組みリクルートのビッグデータ活用基盤とデータ活用に向けた取組み
リクルートのビッグデータ活用基盤とデータ活用に向けた取組み
 
リクルートにおけるデータのインフラ化への取組
リクルートにおけるデータのインフラ化への取組リクルートにおけるデータのインフラ化への取組
リクルートにおけるデータのインフラ化への取組
 
ファーストアカウンティング会社説明資料 for engineer 2022年7月版
ファーストアカウンティング会社説明資料 for engineer 2022年7月版ファーストアカウンティング会社説明資料 for engineer 2022年7月版
ファーストアカウンティング会社説明資料 for engineer 2022年7月版
 
エンジニア採用における技術広報の重要ポイント
エンジニア採用における技術広報の重要ポイントエンジニア採用における技術広報の重要ポイント
エンジニア採用における技術広報の重要ポイント
 
リクルートにおける画像解析事例紹介
リクルートにおける画像解析事例紹介リクルートにおける画像解析事例紹介
リクルートにおける画像解析事例紹介
 

More from Recruit Technologies

More from Recruit Technologies (14)

新卒2年目が鍛えられたコードレビュー道場
新卒2年目が鍛えられたコードレビュー道場新卒2年目が鍛えられたコードレビュー道場
新卒2年目が鍛えられたコードレビュー道場
 
Rancherを活用した開発事例の紹介 ~Rancherのメリットと辛いところ~
Rancherを活用した開発事例の紹介 ~Rancherのメリットと辛いところ~Rancherを活用した開発事例の紹介 ~Rancherのメリットと辛いところ~
Rancherを活用した開発事例の紹介 ~Rancherのメリットと辛いところ~
 
Tableau活用4年の軌跡
Tableau活用4年の軌跡Tableau活用4年の軌跡
Tableau活用4年の軌跡
 
LT(自由)
LT(自由)LT(自由)
LT(自由)
 
ユーザー企業内製CSIRTにおける対応のポイント
ユーザー企業内製CSIRTにおける対応のポイントユーザー企業内製CSIRTにおける対応のポイント
ユーザー企業内製CSIRTにおける対応のポイント
 
ユーザーからみたre:Inventのこれまでと今後
ユーザーからみたre:Inventのこれまでと今後ユーザーからみたre:Inventのこれまでと今後
ユーザーからみたre:Inventのこれまでと今後
 
運用で泣かないアーキテクチャで動く原稿作成支援システム ~リクルートにおけるDeepLearning活用事例~
運用で泣かないアーキテクチャで動く原稿作成支援システム ~リクルートにおけるDeepLearning活用事例~運用で泣かないアーキテクチャで動く原稿作成支援システム ~リクルートにおけるDeepLearning活用事例~
運用で泣かないアーキテクチャで動く原稿作成支援システム ~リクルートにおけるDeepLearning活用事例~
 
リクルートにおける画像解析事例紹介と周辺技術紹介
リクルートにおける画像解析事例紹介と周辺技術紹介リクルートにおける画像解析事例紹介と周辺技術紹介
リクルートにおける画像解析事例紹介と周辺技術紹介
 
Spring “BigData”
Spring “BigData”Spring “BigData”
Spring “BigData”
 
Struggle against cross-domain data complexity in Recruit group
Struggle against cross-domain data complexity in Recruit groupStruggle against cross-domain data complexity in Recruit group
Struggle against cross-domain data complexity in Recruit group
 
Case study of DevOps for Hadoop in Recruit.
Case study of DevOps for Hadoop in Recruit.Case study of DevOps for Hadoop in Recruit.
Case study of DevOps for Hadoop in Recruit.
 
Hadoop’s Impact on Recruit Company
Hadoop’s Impact on Recruit CompanyHadoop’s Impact on Recruit Company
Hadoop’s Impact on Recruit Company
 
DataRobot活用状況@リクルートテクノロジーズ
DataRobot活用状況@リクルートテクノロジーズDataRobot活用状況@リクルートテクノロジーズ
DataRobot活用状況@リクルートテクノロジーズ
 
求職サービスの検索ログを用いたクエリのカテゴリ推定とその活用事例の紹介
求職サービスの検索ログを用いたクエリのカテゴリ推定とその活用事例の紹介求職サービスの検索ログを用いたクエリのカテゴリ推定とその活用事例の紹介
求職サービスの検索ログを用いたクエリのカテゴリ推定とその活用事例の紹介
 

Recently uploaded

Recently uploaded (8)

Keywordmap overview material/CINC.co.ltd
Keywordmap overview material/CINC.co.ltdKeywordmap overview material/CINC.co.ltd
Keywordmap overview material/CINC.co.ltd
 
Hyperledger Fabricコミュニティ活動体験& Hyperledger Fabric最新状況ご紹介
Hyperledger Fabricコミュニティ活動体験& Hyperledger Fabric最新状況ご紹介Hyperledger Fabricコミュニティ活動体験& Hyperledger Fabric最新状況ご紹介
Hyperledger Fabricコミュニティ活動体験& Hyperledger Fabric最新状況ご紹介
 
2024年5月17日 先駆的科学計算フォーラム2024 機械学習を用いた新たなゲーム体験の創出の応用
2024年5月17日 先駆的科学計算フォーラム2024 機械学習を用いた新たなゲーム体験の創出の応用2024年5月17日 先駆的科学計算フォーラム2024 機械学習を用いた新たなゲーム体験の創出の応用
2024年5月17日 先駆的科学計算フォーラム2024 機械学習を用いた新たなゲーム体験の創出の応用
 
MPAなWebフレームワーク、Astroの紹介 (その1) 2024/05/17の勉強会で発表されたものです。
MPAなWebフレームワーク、Astroの紹介 (その1) 2024/05/17の勉強会で発表されたものです。MPAなWebフレームワーク、Astroの紹介 (その1) 2024/05/17の勉強会で発表されたものです。
MPAなWebフレームワーク、Astroの紹介 (その1) 2024/05/17の勉強会で発表されたものです。
 
LoRaWAN無位置ロープ型水漏れセンサー WL03A-LB/LSカタログ ファイル
LoRaWAN無位置ロープ型水漏れセンサー WL03A-LB/LSカタログ ファイルLoRaWAN無位置ロープ型水漏れセンサー WL03A-LB/LSカタログ ファイル
LoRaWAN無位置ロープ型水漏れセンサー WL03A-LB/LSカタログ ファイル
 
LoRaWAN無位置ロープ式水漏れセンサーWL03A 日本語マニュアル
LoRaWAN無位置ロープ式水漏れセンサーWL03A 日本語マニュアルLoRaWAN無位置ロープ式水漏れセンサーWL03A 日本語マニュアル
LoRaWAN無位置ロープ式水漏れセンサーWL03A 日本語マニュアル
 
情報を表現するときのポイント
情報を表現するときのポイント情報を表現するときのポイント
情報を表現するときのポイント
 
ネットワーク可視化 振る舞い検知(NDR)ご紹介_キンドリル202405.pdf
ネットワーク可視化 振る舞い検知(NDR)ご紹介_キンドリル202405.pdfネットワーク可視化 振る舞い検知(NDR)ご紹介_キンドリル202405.pdf
ネットワーク可視化 振る舞い検知(NDR)ご紹介_キンドリル202405.pdf
 

リクルート式AIの活用法

  • 2. 2Copyright © Recruit Technologies Co., Ltd. All Rights Reserved. 1 2 A3RT概要3 4 本日の内容 プロダクトとそのユースケース 5 はじめに まとめと今後6 「AI」の捉え方 R&Dについて
  • 3. 3Copyright © Recruit Technologies Co., Ltd. All Rights Reserved. はじめに
  • 4. 4Copyright © Recruit Technologies Co., Ltd. All Rights Reserved. 趣味etc 学歴 略歴 所属  リクルートテクノロジーズ ITソリューション統括部 ビッグデータプロダクト開発G グループマネージャー兼アドバンスドテクノロジーラボ  株式会社ミラセンシズ 代表取締役 CEO 神戸大学大学院農学研究科 害虫制御学専攻 リクルート新卒入社8年目。 カーセンサー.netで営業研修、Javaを用いたシステム開発に参加し、その後 Hadoopの導入検証に従事。 主要事業にHadoopを導入したのちビッグデータGに合流。現事業対応リー ダー、画像解析など技術開発に従事。 シニアアーキテクトとしてプロフェッショナル職になった後に、現職。 海水魚飼育 外国産昆虫飼育 スキューバダイビング 自己紹介
  • 5. 5Copyright © Recruit Technologies Co., Ltd. All Rights Reserved. リクルートのビジネスモデル さまざまなドメインでマッチングモデルに基づいたビジネスを展開。 Matching Business HR Bridal Group Buying Used Cars Travel Real Estate Beauty Gourmet Social Games E-Commerce Ad Network New Business Consumers Enterprise
  • 6. 6Copyright © Recruit Technologies Co., Ltd. All Rights Reserved. リクルートの事業領域 「選択」をサポートするような情報サービスを展開 Life event area Lifestyle Area Travel IT/ TrendLifestyle Health & Beauty Job Hunt Marriage Job Change Home Purchase Car Purchase Child Birth Education
  • 7. 7Copyright © Recruit Technologies Co., Ltd. All Rights Reserved. リクルートテクノロジーズの立ち位置 Infrastructure /Security Project Management UXD/SEO Internet Marketing Big Data Solutions Technology R&D Systems Development リクルートホールディングスは7つの主要事業会社と3つの機能会社から成り立っている。 Recruit Holdings Recruit Career Recruit Sumai Company Recruit Lifestyle Recruit Jobs Recruit Staffing Recruit Marketing Partners Staff service Holdings Recruit Technologies Recruit Administration Recruit Communications Business/ Service Function/ Support
  • 8. 8Copyright © Recruit Technologies Co., Ltd. All Rights Reserved. ビッグデータ解析部門の組織体制 ITソリューション統括部 ・ ・ ・ ビッグデータビジネス コンサルティング グループ ビッグデータ人材領域 グループ ビッグデータ販促・ バイト領域グループ ソリューションを軸 とした予測、BI、競 合分析 人材領域を軸とした 各種レコメンドの開 発 販促・バイトを軸と した各種レコメンド の開発 ビッグデータID・ ポイント領域グループ IDポイントを軸とし た各種レコメンドの 開発 ビッグデータプロダクト 開発グループ ビッグデータインフラ グループ IDポイントビッグ データシステムグルー プ ソリューションを軸 とした各種R&D系 プロダクトの開発 ビックデータ基盤の 構築・運用 ビックデータ部 IDポイントPRJの基 盤の 構築・運用
  • 9. 9Copyright © Recruit Technologies Co., Ltd. All Rights Reserved. プロダクト開発Gのミッション・ポリシー  最新技術をいち早く検証・実装し、誰でも早く簡単に利用できるビッグデータ・プロダクトまで 実装を深め、リクルートグループすべての人たちに提供する。最近は必然的にAIといわれる 領域の技術が多い。  基本的に、技術は使ってもらわないと意味がない。施策出口のアイディアは常に膨らませて おく。  各プロダクトごとにプロダクトオーナー制を敷く。プロダクトオーナーにはプロダクトに関するすべ ての責任と報酬が乗ってくる。  最終目的(導入件数やKPI目標)の設定後は、切り取り次第。手段も自走して考える。
  • 10. 10Copyright © Recruit Technologies Co., Ltd. All Rights Reserved. 「AI」の捉え方
  • 11. 11Copyright © Recruit Technologies Co., Ltd. All Rights Reserved. 『リアル・スティール』 映画のパッケージ 『A.I. 』 映画のパッケージ 昨今のAI事情  私自身、AIという言葉は好きでありません。  それでも自分をだましだまし使っています。説明が格段にわかりやすく なるからです。 出典:http://movies.yahoo.co.jp/movie/A.I./163028/ 出典:http://movies.yahoo.co.jp/movie/%E3%83%AA%E3%82%A2%E3%83%AB%E3%83%BB%E3%82%B9%E3%83%86%E3%82%A3%E3%83%BC%E3%83%AB/339986/
  • 12. 12Copyright © Recruit Technologies Co., Ltd. All Rights Reserved. AIとは  割愛
  • 13. 13Copyright © Recruit Technologies Co., Ltd. All Rights Reserved.  AIのスコープをぎゅっと絞り、リクルート内では深層学習が得意とする特徴量抽出の自動化 にフォーカス。  例えば、 特徴量抽出にフォーカス (0,0,1,0,0,0・・・・ ・・・・・・・・・・・・・・ ・・・・・・・・・) 自動特徴抽出 ベクトル化 角がある 足が6本 茶色 ・・・ 無意識の 特徴抽出 ラベルと特徴 の紐付 predict カブトムシっぽい 例えば500枚以上 predict 似てるけど違う。
  • 14. 14Copyright © Recruit Technologies Co., Ltd. All Rights Reserved. AIの施策適応のスコープ  特徴抽出はテキストの分類や画像の分類、文章作成、校閲など人が無意識に頭の中で 行なっている作業。  この特徴抽出という作業は、社内を見渡せばあちらこちらに存在する。  人が属人的なルール、感覚で判断していて、なおかつルーチンな業務が多い。  特徴抽出の自動化ができれば、人の簡単な行動を機械で模倣ができる・・・はず。 人の単純作業の一部リプレイスを施策出口候補へ
  • 15. 15Copyright © Recruit Technologies Co., Ltd. All Rights Reserved. AI案件推進の際に必要な要素 AI案件推進のために必要なもの 教師データ アルゴリズム モデリング、チューニングノウハウ 施策適応 ・施策とモデル、アルゴリズムを結びつける知識が必要 ・AIとよばれるもののメリデメを説明することができる →重要であるが、実はこの層の人材が枯渇 ・機械学習やAIの仕組み理解 ・パラメータチューニングなどの勘所 ・アルゴリズムの選択 →採用や、他の企業ごと人を買収 Ex)salesforce社→metamind IBM社→AlchemyAPI • オープンソースの利用 • 社外の商用製品の利用 ・自社データ ・クラウドソーシングで集める ・データ購入 ・まだ取得できていないデータを収集・顕在化 プロダクト開発Gの メンバーがサポート。 リクルート内に ある豊富なデータ源 + プロダクト開発Gの 経験。
  • 16. 16Copyright © Recruit Technologies Co., Ltd. All Rights Reserved. A3RT概要
  • 17. 17Copyright © Recruit Technologies Co., Ltd. All Rights Reserved. A3RTの導入  リクルートテクノロジーズでは社内での機械学習並びにDeep Learningなどに代 表されるAI系ロジックを同一ブランドで統一・整備をし、社内に展開している。
  • 18. 18Copyright © Recruit Technologies Co., Ltd. All Rights Reserved. 開発・構築にいたった理由 案件ごとのフルスクラッチ開発 一番自由度が高く最適な機能が作れる。 一方、一から検討・開発するため、ど うしても時間・コストがかかるので、 全てのケースに対応できない 外部のAPI群  一部は活用すべきだが、リクルートグ ループでの活用にそのまま使える機能 が不足。汎用性が仇になる。 【効果的な機能】リクルートグループ特化による効果的なソリューションの開発。 【導入しやすさ】リクルート汎用的な機能についてはAPI化。 導入の迅速化/低コスト化。 【最新技術】 バックエンドのアルゴリズム、インフラ環境も常に最新かつ適 切なものが適用できるよう継続的に検証。 【効率など付加価値】オペレーション部分にも最新技術を適応。 精度/運用効率向上に向けた取り組みを継続的に実施。 (DeepLearningの自動パラメータチューニング機能他)  リクルートグループにおいて機械学習によるソリューション活用の敷居はまだまだ高く、活用をス ピードアップ・拡大するためには設計~開発~運用に工数が多くかかっていた。  データ活用・ロジック作成に気を取られ、ビジネス活用まで考えがいたらない状況。
  • 19. 19Copyright © Recruit Technologies Co., Ltd. All Rights Reserved. A3RTサービス一覧  A3RTでは現在、下記のようなAPIサービスを整備・開発。  これまでデータ活用が数多く進んでいるカスタマーサイドだけではなく、クライアントサイド、営業 シーン、制作業務などでの利用を想定し開発している。 レコメンド バナーターゲティング OCR 画像解析 原稿サジェスト 文章校閲文章要約 文章分類 音声テキスト化 屋内位置測位 ChatBot(協働開発) 転移学習 マルチモーダル データマスキング(協働開発)
  • 20. 20Copyright © Recruit Technologies Co., Ltd. All Rights Reserved. API化による効率化 リクルート内サービス モデル化 API API API モデル・技術共有 コール 再学習 モデル・ナレッジのプーリング APIによる設計効率化
  • 21. 21Copyright © Recruit Technologies Co., Ltd. All Rights Reserved. プロダクトとそのユースケース
  • 22. 22Copyright © Recruit Technologies Co., Ltd. All Rights Reserved. AI案件推進の際に必要な要素 AI案件推進のために必要なもの 教師データ アルゴリズム モデリング、チューニングノウハウ 施策適応 ・施策とモデル、アルゴリズムを結びつける知識が必要 ・AIとよばれるもののメリデメを説明することができる →重要であるが、実はこの層の人材が枯渇 ・機械学習やAIの仕組み理解 ・パラメータチューニングなどの勘所 ・アルゴリズムの選択 →採用や、他の企業ごと人を買収 Ex)salesforce社→metamind IBM社→AlchemyAPI • オープンソースの利用 • 社外の商用製品の利用 ・自社データ ・クラウドソーシングで集める ・データ購入 ・まだ取得できていないデータを収集・顕在化 プロダクト開発Gの メンバーがサポート。 リクルート内に ある豊富なデータ源 + プロダクト開発Gの 経験。
  • 23. 23Copyright © Recruit Technologies Co., Ltd. All Rights Reserved. 施策接続の中でエンカウントする現場の勘違い  精度を100%にしたい。  そもそも人間が作った教師データが100%の精度ではないことを知るべし。  データあります。  ただ教師データがあるのと使える形式の教師データがあるというのは話が違う。  とにかくAIをやりたい病。  目的なくして、技術の意味なし。  一撃必殺の最強魔法の類と思っている。  何かパッと持ってきて、すぐできて、一発OK運用なし。
  • 24. 24Copyright © Recruit Technologies Co., Ltd. All Rights Reserved. 今回ご紹介するプロダクト 画像解析 文章校閲 文章分類 一部転用
  • 25. 25Copyright © Recruit Technologies Co., Ltd. All Rights Reserved. Image Paradise 画像解析API
  • 26. 26Copyright © Recruit Technologies Co., Ltd. All Rights Reserved. Convolutional Neural Network Convolutional層 パッチごとに複数の特徴を抽出 Pooling層 周辺の特徴量をまとめ上げ、 新たな特徴量として再設計することで次元圧縮
  • 27. 27Copyright © Recruit Technologies Co., Ltd. All Rights Reserved. 利用する環境とライブラリ インフラ CNN用ライブラリ
  • 28. 28Copyright © Recruit Technologies Co., Ltd. All Rights Reserved. カーセンサー:写真からの車種判別機能 事例紹介①
  • 29. 29Copyright © Recruit Technologies Co., Ltd. All Rights Reserved. 背景 かっこいい! 名前は? 名前わかんね 大きな 機会損失
  • 30. 30Copyright © Recruit Technologies Co., Ltd. All Rights Reserved. 自動車車種判定  自動車を良く知らない初心者の人間にとって、車種や自動車メーカーの名前を知ることは難しく、 より直感的に自動車を探すことができるインターフェースが必要と想定。  画像判別により車種を判別できる機能を開発し、初心者フレンドリーなインターフェースを実現。  判別精度は人気車種上位30種類において90%以上にものぼる。 既存の検索導線へ
  • 31. 31Copyright © Recruit Technologies Co., Ltd. All Rights Reserved. 車種判別フロー … … … CNNで作成した 車種判別モデル車の写真 2674車種 ・ワゴンR ・プリウス ・フィット ・フェラーリ ・エスティマ ・ ・ ・2674車種の精度 68.2%
  • 32. 32Copyright © Recruit Technologies Co., Ltd. All Rights Reserved. 学習データの作成に工夫 外装 ラベル名 画像例 内装 トランク ダッシュ ボード その他 学習枚数 約3500枚 約2000枚 約1000枚 約1000枚 約2500枚 内装〜その他を判別する モデルを先に作成。 カーセンサーの約40万物件 の画像を全て投入 外装と判別された約80万枚を そのまま学習に利用
  • 33. 33Copyright © Recruit Technologies Co., Ltd. All Rights Reserved. 学習データの自動収集の仕組み作り 課題として流通量が少ない車種(=学習枚数少ない)は 精度が低く、継続的な学習の仕組みづくりが必要。 利用者に正解を フードバックしてもらう機能を実 装し、再学習のスピード。 画像とラベルがセットで蓄積で きるので、追加学習が可能! AIは一撃必殺の魔法ではなく、基本的に継続的に学習させ、改善していくものである。 このような認識を関係者各位に周知させ、継続的学習の仕組みを自ら推進し作っていと いった「AIの概念周知」は重要なファクターのひとつである。
  • 34. 34Copyright © Recruit Technologies Co., Ltd. All Rights Reserved. 事例紹介② カーセンサー 色タグ付与 • カーセンサーでは、一物件 につき、20枚くらいの画像 が存在 • これに外装・トランク・ダッ シュボード・内装・その他な どラベルを振り、内装判別 用のモデルを作成 内装の確率が一番高い 画像を探索 色を抽出して、最も広範囲に利用 される色をシートの色として判別 範囲が多い順に ・ライトブルー ・黒 ・・・ →シート色のタグとして、 「ライトブルー」を付与! 学習データ収集 内装画像探索 内装色判別 内装判別をするための学習データ 収集 1 2 3  「メディアで不足・もっと見たかったクルマの情報」を調査したところ、1位が「クルマの内装の写真」であること、 また、約 35%の回答者が、中古車の「内装」を重視してクルマ選びをしていることが判明。  一方で既存メディアには内装色で検索という機能が存在しない。
  • 35. 35Copyright © Recruit Technologies Co., Ltd. All Rights Reserved. Linné 文章分類API
  • 36. 36Copyright © Recruit Technologies Co., Ltd. All Rights Reserved. リクルートにおいてテキストが持つ重要性 原稿に不備があると。。。 いい求人ないかなー?? 業界No1の実績を誇ります。 No1
  • 37. 37Copyright © Recruit Technologies Co., Ltd. All Rights Reserved. TEXT CLASSIFICATION API : Linne 今回はクチコミの審査効率化を目的として利用 大量のクチコミ 見きれない! ! チェック項目多す ぎ!! 掲載OK 掲載NG 大量のクチコミ 掲載OK 6% 掲載NG 94% たしかにNG !! 掲載NG
  • 38. 38Copyright © Recruit Technologies Co., Ltd. All Rights Reserved. TEXT CLASSIFICATION API : Linne 今回の学習データはテキストとラベルの対 私はタコです。 審査OK あなたが嫌いです。 審査NG あなたが嫌いではないです。 審査OK 赤ちゃんLinne 大量に教え込ませる 審査OK なんでこんなんもわからんのや 賢いLinne
  • 39. 39Copyright © Recruit Technologies Co., Ltd. All Rights Reserved. TEXT CLASSIFICATION API : Linne ConvNetは画像のためのモデル →入力は32×32(×3)の行列orテンソルで固定長 私はこの景色が好きだ。 Embedding 私 僕 女 男 景色 好き 各単語をn次元ベクトルに変換 私 は この だ 。 <eos> … n次元ベクトルを並べて行列作成
  • 40. 40Copyright © Recruit Technologies Co., Ltd. All Rights Reserved. TEXT CLASSIFICATION API : Linne 固定長に対応するために、パディングを行う 私はこの景色が好きだ。(8単語) 私は阪大出身です。(6単語) 小さいときから英語が得意でした。(9単語) 列数が9になるようにpadding
  • 41. 41Copyright © Recruit Technologies Co., Ltd. All Rights Reserved. TEXT CLASSIFICATION API : Linne 学習の手順 私はこの景色が好きだ。 形態素解析 [ 私, は, この, 景色, が, 好き, だ, 。] Embedding 学習データ [“私はこの景色が好きだ。”, 審査OK] 審査OK 掲載OK 78% 掲載NG 22%
  • 42. 42Copyright © Recruit Technologies Co., Ltd. All Rights Reserved. TEXT CLASSIFICATION API : Linne AWS cloud クチコミテキスト 掲載OK 78% 掲載NG 22% 各ラベルへの帰属確率 クチコミ審査者 掲載OK 実際の活用フロー 教師学習がまだまだ主流の今、100%の精度はありえない。まずは過度な期待をせず に、できるところからAIを用いて人の作業負担を減らし、 共に成長していく仕組みづくりが必要である。
  • 43. 43Copyright © Recruit Technologies Co., Ltd. All Rights Reserved. テキスト分類ロジックをChat-Botへ応用 によるQA分類ロジックを利用
  • 44. 44Copyright © Recruit Technologies Co., Ltd. All Rights Reserved. 日常会話領域での最新技術の利用 感情指定返信学習 「〜な感情で応答せよ」という指令を質問文にラベル付けすることで、 所望の感情での回答を行う機能を実装。 対話破綻学習 質問文がそれにふさわしいかどうかをロジスティック回帰により判定す る仕組みを取り入れ、回答のふさわしさという観点で精度向上を 図っている。
  • 45. 45Copyright © Recruit Technologies Co., Ltd. All Rights Reserved. ARGON 文章校閲API
  • 46. 46Copyright © Recruit Technologies Co., Ltd. All Rights Reserved. document proofreading api : ArGON Customer Client 原稿 原稿 原稿 求人原稿に間違いがあると、マッチングの機会損失に!! なので人手と時間をかけて大量の項目をチェックしている
  • 47. 47Copyright © Recruit Technologies Co., Ltd. All Rights Reserved. document proofreading api : ArGON 原稿の校閲の自動化 校閲項目 実現方法 説明会などの日付が過去の日付にな っていないか? ルールベース 日付と曜日がずれていないか? ルールベース 電話番号は正しいか? 桁数などをチェックする ルールベース 差別表現は含まれていないか? ルールベースと機械学習 誤字脱字 機械学習 住所は正しいか ルールベース *校閲項目の一部抜粋
  • 48. 48Copyright © Recruit Technologies Co., Ltd. All Rights Reserved. document proofreading api : ArGON なぜ機械学習が必要か?? “私は妄奏する。” →“妄奏”という単語は存在しないので辞書と突き合わせればOK “税金を収める。” →”納める”が正解だが”収める”も辞書には存在している “税金が納める。” →文章として不自然。”が”ではなく”を”が適当。 単語ごとにみるのではなく文脈(系列)を読み取る必要
  • 49. 49Copyright © Recruit Technologies Co., Ltd. All Rights Reserved. document proofreading api : ArGON “水は私達の生活は欠かせない。”input 文章としておかしくしている単語を検知 代わりとなる単語をサジェストoutput “水は私達の生活【は】欠かせない。” “に”ではありませんか?
  • 50. 50Copyright © Recruit Technologies Co., Ltd. All Rights Reserved. document proofreading api : ArGON “水は私達の生活は欠かせない。” 形態素解析 水 は 私達 の 生活 は 欠かせ ない 。 x1 x2 x3 x4 x5 x6 x7 x8 x9 p(x2|x1) p(x3|x1,x2 ) p(x4|x1,… ,x3) p(x5|x1,… ,x4) p(x6|x1,… ,x5) p(x7|x1,… ,x6) p(x8|x1,… ,x7) p(x9|x1,… ,x8) 確率の低くなるものを検知し、代わりをサジェスト
  • 51. 51Copyright © Recruit Technologies Co., Ltd. All Rights Reserved. document proofreading api : ArGON Recurrent Neural Network (系列データに対してのNeural Network) 例えば、 (1) 音声データ(波形) (2) 文書データ(単語) (3) 映像データ(画像)
  • 52. 52Copyright © Recruit Technologies Co., Ltd. All Rights Reserved. document proofreading api : ArGON 文書データに関しては、特定の文字列の後にくる単語の予測 ここには動詞がくるはず 主語がHeなので 三人称単数形 文章の構成に使われているルールを学習させて予測をする →誤字脱字の検知に使えるのでは??
  • 53. 53Copyright © Recruit Technologies Co., Ltd. All Rights Reserved. document proofreading api : ArGON Recurrent Neural Network xt h1t h2t yt h2t-1 前の系列(t-1)の時の中間層の状態を利用して学習 考え方的には過去の系列全ての状態を考慮して学習できる
  • 54. 54Copyright © Recruit Technologies Co., Ltd. All Rights Reserved. document proofreading api : ArGON 何度も掛け算をするため重みが爆発したり、勾配が消失する 結果、長期的な依存性がなくなる input hidden output time t-q t-5 t-4 t-3 t-2 t-1 t 〜〜 …
  • 55. 55Copyright © Recruit Technologies Co., Ltd. All Rights Reserved. document proofreading api : ArGON 勾配消失問題を解消するために特殊な隠れノードを追加したモデル xt ht-1 xt ht-1 xt ht-1 ht ×1.0 tanh tanh sigmoidsigmoid input gate output gate Constant Error Carousel
  • 56. 56Copyright © Recruit Technologies Co., Ltd. All Rights Reserved. document proofreading api : ArGON input embed LSTM output embed層では各単語の特徴ベクトルを算出する(次元削減) outputでは総和が1となる確率ベクトルを出す ネットワーク全体
  • 57. 57Copyright © Recruit Technologies Co., Ltd. All Rights Reserved. document proofreading api : ArGON input embed LSTM output 学習フェーズ “私は野球が好きです。” “野球” target “が”
  • 58. 58Copyright © Recruit Technologies Co., Ltd. All Rights Reserved. document proofreading api : ArGON 予測フェーズ input embed LSTM output “私は野球に好きです。” “野球” “私は野球” “に”の確率 高い確率の単語は?
  • 59. 59Copyright © Recruit Technologies Co., Ltd. All Rights Reserved. document proofreading api : ArGON 48549units 400units 400units 48549units400units input embed LSTM (GRU) outputFeed Forward + Deep Residual Learning
  • 60. 60Copyright © Recruit Technologies Co., Ltd. All Rights Reserved. ArGonのデモ
  • 61. 61Copyright © Recruit Technologies Co., Ltd. All Rights Reserved. R&Dについて
  • 62. 62Copyright © Recruit Technologies Co., Ltd. All Rights Reserved. R&Dによるデータ解析活用ポリシー etc  内製開発、内製ロジック作成やオープンソース利用のみが、技術によるビジネス貢献ではない。  常に情報を探り、集め、あらゆる手段でデータ解析をビジネス貢献の手段として確立させるようベストを尽くす必要がある。 Etc…
  • 63. 63Copyright © Recruit Technologies Co., Ltd. All Rights Reserved. スタートアップ協業シリーズ  海外出張によって訪問した現地(イスラエル・US)の先進スタートアップ企業とディスカッション。  プロダクト利用だけではなく、協働検証・開発なども行っている。 社内検証 インフラ オペレーションAI 類似画像 アフィリエイト 屋内位置情報測位 説明会などイ ベントでの流 量分析想定 ビッグデータ 部内部Hadoop 環境での利用 画像を生かし た媒体間の クロスユース 屋内位置情報取得 によるカスタマー 情報リッチ化 社内インフラ運用 のモニタリングを 知見習得? インターネット中 の画像を集客元に
  • 64. 64Copyright © Recruit Technologies Co., Ltd. All Rights Reserved. Cotori –屋内位置測位  GPSではできない屋内の測位を正確に行うSDK。  屋内でGPSと同じようにトラッキングをしたり、非常 に小さいジオフェンスを貼ることが可能。  またwifiや地磁気の情報を使用するため非常に省電力 で動くことが特徴  オフラインイベントなどでの解析に利用できないかを 検討中。 ×
  • 65. 65Copyright © Recruit Technologies Co., Ltd. All Rights Reserved. 半教師有り学習による精度向上 • VATを用いた半教師有り学習 • 半教師有り学習:少量の教師付きデータと大量の教師なしデータを用いて、比較的高精度のモデル 作成する手法。 mnist[0~9の手書きデータ]を利用し、 以下を検証。 ・60000万枚の画像を学習に使った精度 ・各枚数を学習に利用した時の精度 ・各枚数を教師有り、残りを教師なしと して学習した精度 教師有りを600枚使っただけで、ほぼ 60000枚全て利用した時と同様の精度が 得られていることがわかる。 学習利用枚数 誤 差 率 (%) 大量の画像全てに正解ラベルを付与しなくても良い。 よって、学習データの収集コストが大幅に下がることが期待できる。
  • 66. 66Copyright © Recruit Technologies Co., Ltd. All Rights Reserved. まとめと今後
  • 67. 67Copyright © Recruit Technologies Co., Ltd. All Rights Reserved. AI案件を回すのに必要な力 技術力 施策接続 コミット力 情報力
  • 68. 68Copyright © Recruit Technologies Co., Ltd. All Rights Reserved. データ解析の利用シーン拡大 customer Client Attracting customers Select Action Effect Information published Target client Matching  cross tabulation  Recommendation  Image search  Advertising expenses optimization  Ad Targeting  Manuscript reviewer  Auto review  Article creation support  Sales support  Competitive analysis
  • 69. 69Copyright © Recruit Technologies Co., Ltd. All Rights Reserved. 大切にしたいこと データの活用周りの商品(エンタープライズ、オープンソース問わず)、 ロジック、活用事例などの最新情報をなるべくキャッチしておく。 どんなデータでも扱えるように知見を集約しておく、難しい技術や課題 にも積極的にチャレンジしていく。 コードのオープンソース化が進み、競合優位要因が「コード保有」から 「データ保有」「施策接続力」にパラダイムシフト。ビジネスの感覚も忘れ ずに、事業と二人三脚で案件を進める。 1 2 3
  • 70. 70Copyright © Recruit Technologies Co., Ltd. All Rights Reserved. 速報 A3RT-APIの一部を社外公開すべく鋭意準備・開発中です! どうぞご期待ください。