ディープラーニング開発組織のつくり方と運営ノウハウ_DLLAB Case Study Day

テクノスデータサイエンス・エンジニアリング株式会社
〒163-1427 東京都新宿区西新宿3-20-2東京オペラシティタワー27階
TEL：03(6383)3261 FAX:03(6383)3262
DLLAB Case Study Day
機械学習・深層学習の最新事例を一挙に知る日
ディープラーニング開発組織の
つくり方と運営ノウハウ
2018年9月21日

Tecnos Data Science Engineering All Rights Reserved
会社紹介
名称
テクノスデータサイエンス・エンジニアリング
株式会社
所在地
東京都新宿区西新宿3-20-2
東京オペラシティタワー27階
設立 2013年10月17日
代表者代表取締役城谷直彦
資本金 5億5,350万円
従業員数 110名（2018年4月時点）
主要株主
株式会社テクノスジャパン
株式会社エヌ・ティ・ティ・データ
あいおいニッセイ同和損害保険株式会社
データ活用
サービス
AIサービス
共同開発
プロダクト
提供
事業内容
組織組成支援科学研究の経験があるメンバーを中心に構成
データサイエンティスト在籍数（2018年4月現在）
総勢
67名
修士以上
63名
うち博士
28名

1. Deep Learningを活用するために知っておくこと
2. Deep Learningプロジェクトの考え方
3. Deep Learningプロジェクトのマネジメント
4. データサイエンティストの声
目次

1. Deep Learningを活用するために知っておくこと

⚫Deep Learningは、特徴量抽出で汎用的なアルゴリズムである
➢ (大抵の)機械学習アルゴリズムは、モデリング時にデータの特徴量(例：
画像データでの色、形、質)を明示的に与える
✓ 特徴量の設計は、機械学習アルゴリズムに合わせて行われる
✓ 特徴量の設計は、分析者／開発者の経験と勘によっている
➢ Deep Learningは、特徴量を自発的に獲得することが出来る
⚫Deep Learningは、高い汎化性能を持つモデルを実現する
➢ 汎化性能とは、モデリング時の学習データ以外でも精緻に推論できるか
➢ Deep Learningは、学習データから本質的な特徴を獲得することを実現
している
Deep Learningの性格

⚫Deep Learningはなぜ、「汎用的なアルゴリズム」であり、
「高い汎化性能を実現する」ことが可能なのか？
⚫複雑な深いネットワークを学習出来ることで、それらを可能
にしている
➢ 数多くのパラメータによって、データの特徴量を最大限表現する
➢ 各パラメータが複雑に結びつき、特徴量の表現が多彩になる
○と○の間にある→すべ
てがパラメータであり、
Deep Learningによって
それらを学習している

⚫Deep Learningはなぜ、「汎用的なアルゴリズム」であり、
「高い汎化性能を実現する」ことが可能なのか？
⚫複雑な深いネットワークを学習出来ることで、それらを可能
にしている
➢ 数多くのパラメータによって、データの特徴量を最大限表現する
➢ 各パラメータが複雑に結びつき、特徴量の表現が多彩になる
○と○の間にある→すべ
てがパラメータであり、
Deep Learningによって
それらを学習している
一方で、その複雑な深いネットワークのため、
➢ 多くのパラメータを学習する必要があり、その分やはり多くの学習デー
タが必要になる
➡ これはすなわち、計算処理の増加にもつながる
➢ 各パラメータが複雑に結びついているため、モデルの解釈性がない
➡ ブラックボックスと言われる所以

⚫Deep Learningをビジネスで活用する際のポイントは、
Deep Learningの活用ポイント
①学習データの有無
②モデル解釈性の必要性
③計算速度の許容レベル
④DL技術者の存在

⚫Deep Learningをビジネスで活用する際のポイントは、
Deep Learningの活用ポイント
✓ 実用化には大量のデータが必要
✓ 画像診断では、数万件以上
①学習データの有無
②モデル解釈性の必要性
③計算速度の許容レベル
④DL技術者の存在
✓ 予測結果を理解する必要がなく、予測
精度の良さがビジネス価値になる
✓ 視覚や聴覚のような感覚を用いて行わ
れている業務には適している
➡ 例えば、画像判断や異音検知
✓ GPUを使えるプラットフォームがある
✓ 推論だけであればFPGAも視野に
✓ モデル構成(ネットワーク)への制約に
なる
✓ モデルの効率的なチューニングには知
見や経験が必要
✓ データサイエンティストはいますか？

⚫AIを活用した架空送電線診断システム
Deep Leaning活用事例紹介
https://customers.microsoft.com/en-us/story/tepco-azure-machine-learning-jp-japan

AI活用によるコスト削減
AIが送電線の異常を自動で
検知し、報告書を作成する

Deep Learningによる異常検知
https://www.youtube.com/watch?v=YE07PzWECuM

2. Deep Learningプロジェクトの考え方

Deep Learning活用の目的は何？
データに基づく科学的アプローチによって、
企業の活動や
顧客の行動を変化
させ、
お互いにとっての
新たな価値を創り出す
こと

AI導入事例：顧客離反分析
事例概要
【業種】通信
【分析サービス】クラス予測
【お客様の課題とニーズ】
クライアントの企業では、解約を実施して、競合他社への契約変更をす
る顧客が続出していた。他方、解約を防止するための割引キャンペーン
により、本来解約しない顧客に対しても施策を実施してしまうことによ
る「施策の無駄うち」によるロスが発生してしまっていた。そのため、
効率的にキャンペーンを実施するニーズがあった。
AIによる解決策
1～2ヶ月後の解約を予測する統計モデルを開発し、解約確率の高い顧客に
対してキャンペーンを実施して効果を挙げた。
Before After
解約抑止効果
もアップ！
既存顧客から性別と年代などの属性
情報のみを切り出して施策を実施。
解約可能性のない人にまで割引キャ
ンペーンを実施してしまうといった
問題があった。
生み出された価値（効果）
解約しない層に対しては、キャンペーンを実施しないことでコストの削減
に成功した。また、テストマーケティングの結果、解約しそうな層に対す
る解約抑止効果は通常の抑止効果に比べて３倍程度の効果があった。
「無駄うち」
コストの削減！
顧客DB
予測モデル構
築
分析用
データ
解約率を予測
• 顧客のデモグラ属性
• 顧客の利用履歴
• 利用端末
など
分析実施
解約率が高い順に
顧客をリスト化
キャンペーン
ターゲット
リスト
キャンペーン
ターゲット
リスト
予測に基づき解約
確率の高い上位
○％にキャンペー
ン実施
機
械
統
計

変化と新たな価値は何か？
⚫ 契約者個人における変化：
➢ 「解約する」という行動ではなく、契約を「継続する」と
いう行動をとるに変わった。
➢ 契約更新時期のたびに行われる乗り換えキャンペーンで悩
んだりする必要がなくなる。
➢ 継続することで安価にサービスの提供が受けられる。
➢ 契約変更したさいの煩わしい手続きから解放される。
⚫ 通信会社における変化：
➢ 営業企画部門が属人的に施策ターゲットを選定していたが、
可能性の高い人を自動選定できるようになる。
➢ マスでの施策から、人をそれぞれ選んで（OneToOne）の
施策を実施できるようになった。
➢ 離反する可能性の高い人たちをターゲットにして、施策を
打てる。⇒施策コストの減少。
➢ 解約者を減少することができる。
⇒売り上げの向上

変化と新たな価値は何か？
⚫ 契約者個人における変化：
➢ 「解約する」という行動ではなく、契約を「継続する」と
いう行動をとるに変わった。
➢ 契約更新時期のたびに行われる乗り換えキャンペーンで悩
んだりする必要がなくなる。
➢ 継続することで安価にサービスの提供が受けられる。
➢ 契約変更したさいの煩わしい手続きから解放される。
⚫ 通信会社における変化：
➢ 営業企画部門が属人的に施策ターゲットを選定していたが、
可能性の高い人を自動選定できるようになる。
➢ マスでの施策から、人をそれぞれ選んで（OneToOne）の
施策を実施できるようになった。
➢ 離反する可能性の高い人たちをターゲットにして、施策を
打てる。⇒施策コストの減少。
⇒売り上げの向上
AI導入によって
生み出された
行動の変化
生み出された
新たな価値
生み出された
行動の変化
生み出された
新たな価値
顧客
企業

変化のまとめ
①
データに基づ
く科学的アプ
ローチ
（AI導入）
②
企業の活動の
変化
③
顧客の行動の
変化
④
企業における
新たな価値
⑤
顧客における
新たな価値
• 顧客の利用
データに基づ
く離反可能性
の予測。
• 営業企画部門
が属人的に施
策ターゲット
を選定してい
たが、可能性
の高い人を自
動選定できる
ようになる。
• マスでの施策
から、人をそ
れぞれ選んで
（OneToOne）
の施策を実施
できるように
なった。
• 「解約する」
という行動で
はなく、契約
を「継続す
る」という行
動をとるに変
わった。
• 契約更新時期
のたびに行わ
れる乗り換え
キャンペーン
で悩んだりす
る必要がなく
なる。
• 離反する可能
性の高い人た
ちをターゲッ
トにして、施
策を打てる。
⇒施策コスト
の減少。
• 解約者を減少
することがで
きる。
⇒売り上げの
向上。
• 継続すること
で安価にサー
ビスの提供が
受けられる。
• 契約変更した
さいの煩わし
い手続きから
解放される。

AI導入での成功のために
①
データに基
づく科学的
アプローチ
（AI導入）
②
企業の活
動の変化
③
顧客の行
動の変化
④
企業にお
ける新た
な価値
⑤
顧客にお
ける新た
な価値
AI導入を成功させるためには、以下の５つが考慮されている必要があり
ます。

成功事例からわかること
①
データに基
づく科学的
アプローチ
（AI導入）
②
企業の活
動の変化
③
顧客の行
動の変化
④
企業にお
ける新た
な価値
⑤
顧客にお
ける新た
な価値
変化価値
企業と顧客の両方単なる
手段
以下の５つのうち、価値や行動の変化は導入する企業および、顧客の双方を考
慮しなければなりません。ＡＩ導入は単なる手段にほかなりません。

①
データに基
づく科学的
アプローチ
（AI導入）
②
企業の活
動の変化
③
顧客の行
動の変化
④
企業にお
ける新た
な価値
⑤
顧客にお
ける新た
な価値
「③顧客の行動の変化」を引き起こすには？（1／3）
誘導可能？
新たに生み出される「価値」とは何かを先に考えることが重要です。こ
の価値によって、顧客の行動は誘導可能なものになります。

①
データに基づ
く科学的アプ
ローチ
（AI導入）
②
企業の活動の
変化
③
顧客の行動の
変化
④
企業における
新たな価値
⑤
顧客における
新たな価値
• 顧客の利用
データに基づ
く離反可能性
の予測。
が属人的に施
策ターゲット
を選定してい
たが、可能性
の高い人を自
動選定できる
ようになる。
から、人をそ
れぞれ選んで
（OneToOne）
の施策を実施
できるように
なった。
という行動で
はなく、契約
を「継続す
る」という行
動をとるに変
わった。
のたびに行わ
れる乗り換え
キャンペーン
で悩んだりす
る必要がなく
なる。
性の高い人た
ちをターゲッ
トにして、施
策を打てる。
⇒施策コスト
の減少。
することがで
きる。
⇒売り上げの
向上。
で安価にサー
ビスの提供が
受けられる。
さいの煩わし
い手続きから
解放される。
誘導可能単なる
手段

• 顧客にとってすぐに価値があることが分かること
• 顧客にとって変化へのコストが極めて低いこと
離反防止事例の場合：継続するだけで、割引サービスを
受けられる。
離反防止事例の場合：継続するという判断のみ
ＵＩ／ＵＸの知識や、わかってもらえる、
変わってもらえるための工夫も必要
（＝契約者）
（＝契約者）
顧客の行動の変化を引き起こすには、顧客にとって「すぐに価値がある
ことが分かる事」と、「変化へのコストが極めて低い事」が重要です。

①
データに
基づく科
学的アプ
ローチ
②
企業の活
動の変化
③
顧客の行
動の変化
④
企業にお
ける新た
な価値
⑤
顧客にお
ける新た
な価値
「②企業活動の変化」を引き起こすには？（1／3）
誘導可能??????
顧客と同様に、企業活動の変化に対しても、新たに生み出される「価値」とは
何かを先に考えることが重要です。この価値によって、企業活動の変化は誘導
可能なものになります。

①
データに基づ
く科学的アプ
ローチ
（AI導入）
②
企業の活動の
変化
③
顧客の行動の
変化
④
企業における
新たな価値
⑤
顧客における
新たな価値
• 顧客の利用
データに基づ
く離反可能性
の予測。
が属人的に施
策ターゲット
を選定してい
たが、可能性
の高い人を自
動選定できる
ようになる。
から、人をそ
れぞれ選んで
（OneToOne）
の施策を実施
できるように
なった。
という行動で
はなく、契約
を「継続す
る」という行
動をとるに変
わった。
のたびに行わ
れる乗り換え
キャンペーン
で悩んだりす
る必要がなく
なる。
性の高い人た
ちをターゲッ
トにして、施
策を打てる。
⇒施策コスト
の減少。
することがで
きる。
⇒売り上げの
向上。
で安価にサー
ビスの提供が
受けられる。
さいの煩わし
い手続きから
解放される。
誘導可能単なる
手段

なぜ価値の共有が必要なのか？
• 企業内での予算執行権のある人から予算を獲得するため
• 企業内での全体の理解を得るため
• 企業内での影響する部門の業務調整を実施するため
• 企業内の実務担当者（施策担当者）に協力を得るため
・・・
顧客の行動の変化とは異なり企業の活動の変化は、企業における「新たな
価値」と、企業社内における「新たな価値の共有」によって起こります。
AIプロジェクトで難易度がもっとも高いのはこの社内での価値の共有部分
です。
離反防止事例の場合：
➢ 離反する可能性の高い人たちをターゲットにして、施策を打てる。
⇒【新たな価値】施策コストの減少
⇒【新たな価値】売り上げの向上
⚫ 必要条件：企業における新たな価値
⚫ 十分条件：社内での価値の共有
企業の担当者で
あったり、皆さん
が実施しないとい
けない場合もあり
ます。

企業や顧客の新たな価値や行動の変化を考えるとは？
①
データに基
づく科学的
アプローチ
（AI導入）
②
企業の活
動の変化
③
顧客の行
動の変化
④
企業にお
ける新た
な価値
⑤
顧客にお
ける新た
な価値
変化価値
企業と顧客の両方単なる
手段
要するに、誰の新たな価値を生み出すのか？＝誰の何を改善したいの
か？を明確にすることが大切であるということです。

①
データに基
づく科学的
アプローチ
（AI導入）
②
企業の活
動の変化
③
顧客の行
動の変化
④
企業にお
ける新た
な価値
⑤
顧客にお
ける新た
な価値
「④⑤新たな価値」を創り出すためには？
創出可能
新たな価値はＡＩの導入によっ
て、創出可能となる！
ＡＩの導入が可能となれば、それまでにできていなかったことが改善さ
れ、新たな価値を生み出すことも可能となります。

• 「ＡＩ導入」を実施するためには、数理的な
スキルも当然必要だが・・
• 企業と顧客の両方に対して新たな「価値」の創出
を目的とした「ＡＩ導入」でなければ意味がない
ＡＩの知識も必要だが、それだけでは不十分
「④⑤新たな価値」を創り出すためには？

AI活用の成功に必要な活動とは
AI戦略策定
AIプロジェクト全体のマネジメント
「①データに基づく科学的アプローチ」のための活動
「②自らの企業活動の変化」のための活動
「③顧客の行動の変化」のための活動

役割分担と連携が必須
AI戦略策定
AIプロジェクト全体のマネジメント
「①データに基づく科学的アプローチ」のための活動
「②自らの企業活動の変化」のための活動
「③顧客の行動の変化」のための活動
AI戦略
ディレクター
AIプロジェクト
マネージャー
シニアデータ
サイエンティスト
データ
社内業務部門
お客様部門

各役割に必要とされるスキル
役割
ビジネスへの
洞察
ＩＴシステム
化計画の知識
分析手法の
知識
データ加工
などの
プログラミング
AI戦略
ディレクター ◎◎
マネージャー ◎ ○ ○
シニアデータ
サイエンティスト ○ ○ ◎ ○
データ
サイエンティスト △ △ ○ ◎

役割が果たせないと何が起きるのか？
役割機能が不足する場合のトラブル
AI戦略
ディレクター
ビジネスとして具体的に何に活用するかがわからない
マネージャー
ビジネス・データ分析・ＩＴシステム化等の複数の視点
で戦略を具体化することができない
シニアデータ
データから自社・顧客の両方における価値を生み出すた
めの具体的な分析方法が分からない
データ
データを分析できる形まで整えることが出来ない

AI活用組織への人材選出

3. Deep Learningプロジェクトのマネジメント

⚫AIプロジェクトマネージャーのマネジメントのポイントは、
マネジメントのポイント
①分析は標準プロセスモデル(CRISP-DM)に
基づいて行う
②外部の関係部門との調整が重要である
③データサイエンティストと共にビジネス課題
を適切に数理課題に翻訳する

⚫必要なステップを踏まないと結果は出ない
基づいて行う
AI企画の
すりあわせ
現場環境へ
展開！
CRISP-DM
1999年に発表
Data
ビジネス理解データ理解
実装展開
データ準備
データ処理
プログラム
を作る
データは
あるの？
モデリング
結果評価
AI・数学を
使い課題
を解くビジネス
価値を評価

⚫ウォーターフォール式の厳密管理は適さない
基づいて行う
試行錯誤による
「手戻り」が
標準プロセスに
内在化
一本道で
管理できない
データ準備
モデリング
結果評価
実装展開

⚫管理よりもビジネス企画と外部調整
②外部の関係部門との調整が重要である
データ準備
モデリング
結果評価
実装展開
ビジネス理解や
実装展開では
他部門との調整
が必要になる。

⚫問題を正しく翻訳できないとＰＪは失敗する

⚫問題を正しく翻訳できないとＰＪは失敗する
マネージャー
シニアデータ

4. データサイエンティストの声

送電線の異常検知
• 送電線の異常検知
– ヘリコプターによる送電線の点検動画から、送電線の異常部位を検出するAIの開
発。
– 過去の点検動画を用いて学習・検証を実施。
– 目標
✓ 失報率5 %、誤報率10 %を達成 ※失報率：異常を見逃す割合
誤報率：正常を誤検知する割合
送電線の異常の例

分析利用データ
• 過去数年分の点検動画が利用可能
– 動画はフルHDサイズ(1920 x 1080)
– 撮影条件は多様
✓ 背景（木々・民家・アスファルトなど）、送電線との距離・角度、光の当
たり方、送電線の本数
– 異常のタグ情報などは未付与
✓ AI構築のために、タグ付け作業が必要

分析利用データ
• 過去数年分の点検動画が利用可能
– 動画はフルHDサイズ(1920 x 1080)
– 撮影条件は多様
✓ 背景（木々・民家・アスファルトなど）、送電線との距離・角度、光の当
たり方、送電線の本数
– 異常のタグ情報などは未付与
✓ AI構築のために、タグ付け作業が必要人手によるタグ付け

人手によるタグ付け作業
• 各画像の対象部位を囲むように矩形を付与
• 画像を1枚1枚見て、GUIツールを用いて作業を実施
• 単純作業のためBPに依頼
– タグ付けマニュアルを作成して依頼
– 結果をレビューしてAIの構築に利用
異常のタグ付けの例

タグ付け作業での苦労
• 送電線の異常
– 過去の点検時の情報を元に、異常部位が写っている可能性が高
い部分を抽出してタグ付け作業を実施した。
– 膨大な数の画像を見てタグ付け作業をおこなうことが必要。

異常検知分析作業での失敗
• AI構築用のデータは、フルHDの画像(1920 x 1080)から切り出して作成
– 異常データ
✓ 異常タグの矩形を含むように切り出して使用
– 正常データ
✓ ランダムに切り出し
✓ 切り出した中での架線の面積が、予め定めた閾値より大きいものを使用
• 結果
– 切り出し後の画像で評価⇒誤報率・失報率ともに1 ％前後
– フルHD画像で評価⇒失報率5 ％のときの誤報率が20 ％以上
架線部分の面積が小さいので使用しない
フルHD画像(1920 x 1080)

– 異常データ
– 正常データ
• 結果
– 切り出し後の画像で評価⇒失報率・誤報率ともに1 ％前後
– フルHD画像で評価⇒失報率5 ％、誤報率20 ％以上
フルHD画像(1920 x 1080)

– 異常データ
– 正常データ
• 結果
– 切り出し後の画像で評価⇒失報率・誤報率ともに1 ％前後
– フルHD画像で評価⇒失報率5 ％、誤報率20 ％以上
フルHD画像(1920 x 1080)
パフォーマンスに乖離
正常データと
異常データの
切り出し方の違いを学習
目標の失報率5 %、誤報率10 %に届かない。

– 異常データ
– 正常データ
✓ 架線のピクセルが中心にくるように切り出して使用
• 結果
– 切り出し後の画像で評価⇒失報率5 ％のときの誤報率が9 %程度
– フルHD画像で評価⇒失報率5 ％のときの誤報率が5 %程度
フルHD画像(1920 x 1080)
異常データと正常データの切り
出し方が近くなるように変更

– 異常データ
– 正常データ
• 結果
– 切り出し後の画像で評価⇒失報率5 ％、誤報率9 %
– フルHD画像で評価⇒失報率5 ％、誤報率5 %
フルHD画像(1920 x 1080)

– 異常データ
– 正常データ
• 結果
– 切り出し後の画像で評価⇒失報率5 ％、誤報率9 %
– フルHD画像で評価⇒失報率5 ％、誤報率5 %
フルHD画像(1920 x 1080)
妥当な結果
目標の失報率5 %、誤報率10 %以下を達成

反省点
• （可能ならば）撮影条件の均一化
– 撮影条件が多様だと、膨大な数のデータが必要になる。
– 今回の事例では撮り直しが不可だったが、データ収集の段階か
らAI構築を見据えるべき。

最後に

TDSEが提供するAIビジネス実践講座シリーズ
AIビジネスを
推進する方
AIプロジェクトを
マネージ・牽引する方
エクゼクティブ
(意思決定者)
マネージャー
AI実装する方/
分析基盤を利用/
販売している方
エクゼクティブ向けAI講座
（講師派遣型）
管理者向けAI講座
Cognitive Toolkit、Azure ML、
Azure IoT ハンズオントレーニング
（講師派遣型）（集合研修/講師派遣型）
シニアデータサイエンティスト
データサイエンティスト
(候補含む)

●お問い合わせ
この文書は、著作権法及び不正競争防止法上の保護を受けております。
文書の一部或いは全てについて、テクノスデータサイエンス・エンジ
ニアリング株式会社から許諾を得ずに、いかなる方法においても無断
で複写、複製、転記、転載、ノウハウの使用、企業秘密の開示等を行
うことは禁じられております。
本文記載の社名・製品名・ロゴは各社の商標または登録商標です。
テクノスデータサイエンス・エンジニアリング株式会社
TEL：03-6383-3261 FAX：03-6383-3262
Page 58Tecnos Data Science Engineering All Rights Reserved

ディープラーニング開発組織のつくり方と運営ノウハウ_DLLAB Case Study Day

More Related Content

What's hot

Similar to ディープラーニング開発組織のつくり方と運営ノウハウ_DLLAB Case Study Day

More from Deep Learning Lab（ディープラーニング・ラボ）

ディープラーニング開発組織のつくり方と運営ノウハウ_DLLAB Case Study Day