機械学習による推定ユーザー属性の
安定供給のための施策
LINE株式会社
Machine Learning室 / Machine Learning Solution 2チーム
渡辺 哲朗
2021.06.26
第56回 Machine Learning 15minutes! Broadcast
登壇者紹介
2005 : 東京大学 工学部 システム創成学科 知能社会システムコース
(PSI)卒業
2007 : 東京大学 大学院新領域創成科学研究科 基盤情報学専攻
修士課程 修了
2007 ‒ 2009 : 株式会社ソニー・コンピュータエンタテインメント
2009 ‒ 2014 : 修行期間(簿記会計の道に進んだり、スマート
フォン向けアプリ企業に勤務したり……)
2014 ‒ 2018 : 東京大学 大学院工学系研究科 技術経営戦略学専攻
博士後期課程 修了
(IEEE CIS Young Researcher Award ほか、いろいろ受賞)
2018 ‒ 2019 : 株式会社 金融エンジニアリング・グループ
2019 ‒ : 現職
渡辺 哲朗
(Tetsuroh Watanabe)
LINE 株式会社
Senior Machine Learning Engineer
tetsuroh.watanabe あっと linecorp.com
今日の内容
• 機械学習モデルの推論結果を、
• 事業要求に合わせて、
• より安定的に供給するための工夫
についての事例紹介
概ねこの辺に該当するお話
Sculley, David, et al. "Hidden technical debt in machine learning systems."
Advances in neural information processing systems 28 (2015): 2503-2511.
1. LINEにおけるユーザー属性推定
LINEにおけるユーザー属性推定
サービス横断のユーザー行動ログを利用して、
ユーザーの属性、興味関心など(デモグラフィックデータ)を機械学習モデルで判別。
サービスその1
ユーザー行動ログ
サービスその2
ユーザー行動ログ
サービスそのN
ユーザー行動ログ
・
・
・
・
・
・
機械学習モデル
LINEユーザ
・
・
・
・
・
・
入力
推論 • 年齢層
• 性別
• 地域
• 興味関心
など
デモグラフィックデータ
※ LINEプライバシーポリシーに則って利用。
デモグラフィックデータの使いみち
LINE上の広告配信や、公式アカウントのメッセージ配信の配信先絞り込みなどに使われている。
LINE for Business 2021年1-6月期媒体資料より
https://www.linebiz.com/jp/download/
推論ボリュームのモニタリング
デモグラフィックデータのセグメントごとの推論人数(ボリューム)は日々監視。
社内データ分析ツール「OASIS」を利用
詳細:https://logmi.jp/tech/articles/320415
日付
ボリューム
セグメント
2. 事業要求
― 機械学習モデル推論結果の供給における課題 ―
外部クライアントによるデモグラフィックデータの利用
自社の広告などの配信先としたいユーザの属性、興味関心などを指定する。
※ ここに記載のあるセグメントには、
登壇者のチームで開発・運用して
いないものも含まれます。
LINE for Business 2021年1-6月期媒体資料より
https://www.linebiz.com/jp/download/
デモグラフィックデータの課題
日によってセグメントごとのボリュームの変動が大きくなってしまう。
(モデルは毎日学習され、特徴量として使われるログデータの中身も日々変化する。)
日付
ボリューム
セグメント
6/1 6/2
100万人
70万人
※ 日付、数字は仮
ボリュームの変動が大きいと何が問題なのか?
同じ配信設定なのに、配信対象となるユーザー数が日によって大きく変わってまう。
配信規模が不安定になってしまい、配信オーナーにとって不便となってしまう。
広告配信対象者数
日付
ボリューム
セグメント
※ 日付、数字は仮
100万人
70万人
6/1 6/2
たった1日で30%も減少!
3. 推論結果の安定供給のための施策
smoothing(平滑化)
出力スコアの移動平均などを計算し、その結果を使って最終的に供給するセグメントを決定する。
⽇付
ボリューム
セグメント
⽇付
ボリューム
セグメント
smoothing
この期間のスコアの平均値で、最新のセグメントを決定
smoothing の効果
ボリュームの変動が抑えられ、クライアントは安定した配信が可能に。
広告配信対象者数
日付
ボリューム
セグメント
※ 日付、数字は仮
100.1万人
6/1 6/2
配信数の急激な変動を抑制
100万人
smoothing の民主化
• smoothing は、ユーザー属性推定系の多くのタスクで共通して必要となる。
• 適する smoothing 手法は、タスクによって異なる。
• チーム内部向けに「smoothing API(ライブラリ)」を開発した。
• 手法や対象カラムなど各種条件さえ指定すれば、smoothing 処理のETLを開発することなく
一発で smoothing 処理を適用することが可能となった。
• 新たなユーザー属性推定システム開発時の事前検証 & 実装の省力化につながった。
smoothing API で一発処理
4. 本日のまとめ
本日のまとめ
• smoothing により、機械学習モデルによる推定ユーザー属性を安定供給し、
広告などの配信規模を安定化した。
• シンプルな方法でも、事業要求を満たし、事業の pain point を解決できる。
• 今日紹介した smoothing の他にも、機械学習モデルの推論結果を
安定供給するための施策を、色々と試行錯誤しながら実施中。
特報
LINE Machine Learning室 採用説明会 開催決定!
(対象:機械学習エンジニア / プロジェクトマネージャー / プロダクトマネージャー)
• 2021/07/01(木) 19:00 ∼ 20:30
• Zoom Webinarを使用したオンライン開催
• 当日のコンテンツ
• トークセッション「Machine Learning室の
ミッション・組織のご紹介」
• トークセッション「Machine Learning室 各チームの
業務・プロジェクトご紹介」
• パネルディスカッション「LINEの機械学習エンジニアの
仕事ってどうですか?」
• Q&A
• 福利厚生・選考フロー等のご案内
イベント詳細
参加登録は
こちらの QR コード
からアクセス
https://line.connpass.com/event/215668/
他にも、LINE では Engineer や Data Scientist など
様々なポジションで積極的に募集中です!
募集詳細は
こちらの QR コード
からアクセス
【募集ポジション例】
・機械学習エンジニア
・サーバーサイドエンジニア
・データサイエンティスト
・プロジェクトマネージャー
・機械学習リサーチャー など

機械学習による推定ユーザー属性の安定供給のための施策(第56回 Machine Learning 15minutes! Broadcast)