第12回(2018/11/16)Quesの資料 株式会社クロノス 大石宏一

1. Copyright (c) 2018. Kronos Co, Ltd., All Rights Reserved.
株式会社クロノス
AIソリューション／Webシステム開発 / モバイルアプリ開発 / IT研修・トレーニング
－ 心を豊かにする「ものづくり」と「ひとづくり」 －
AIのテスト
～画像認識における誤検知と検出漏れ～

2. Copyright (c) 2018. Kronos Co, Ltd., All Rights Reserved.
cloud
⚫ 大石 宏一 (Oishi Hirokazu) oishi@kronos.jp
⚫株式会社クロノス https://www.kronos.jp
⚫ラーニング部 シニアマネージャ
⚫教育、システム開発、執筆などを手掛ける
⚫春以外で、年間100講演ほど登壇
⚫ 主な著書
⚫[書籍] Seasar2によるWebアプリケーションスーパーサンプル
⚫[記事] Webの上のポジョをシームレスにつなぐJBoss Seam (@IT)
⚫[雑誌] eclipseパーフェクトマニュアル
⚫[記事] IT人材の必要性と効果的な採用方法 (@人事)
⚫[記事] AIでシステム開発はこう変わる (AINOW) など
Speaker
2

3. Copyright (c) 2018. Kronos Co, Ltd., All Rights Reserved.
cloud
“成功事例の共有”と“共に考える仲間作り”の場
①生の成功事例の共有 ②師と友づくり ③情報交換会によるPDCA効果
生の成功事例をゲスト講師から講演い
ただきます。
ゲスト講師は現役経営者、専門学者な
どの第一線で活躍する方々に限定して
います。
師(AI×Data活用を成功させている方)と
友(AI×Data活用に向けて共に学び合える
方)に出会い、相互に学び合い・高め合う
ことで、AI活用に向けた実行をサポート
します。
会員相互の情報交換会を重視していま
す。
自社の課題や実施したこと、他の会員企
業様が実施されたことなどを確認でき、
次の行動につながるPDCA効果にもつなが
ります。
「AI×Data活用研究会」
3

4. Copyright (c) 2018. Kronos Co, Ltd., All Rights Reserved. 4
認識 行動 言語
2014 2020 2025 2030
感情理解
行動予測
環境認識
画像認識
の
精度向上
状況に
合わせた
作業
言語理解
大規模
知識理解
作業の
熟練・上達
第3次AIブームの発端は画像認識
• 画像認識
• 文字認識
• 音声認識
東京大学大学院工学系研究科
松尾豊特任准教授
「人工知能の発展と必要な能力」より
～ 2014年9月での未来予測 ～

5. Copyright (c) 2018. Kronos Co, Ltd., All Rights Reserved. 5
顧客の課題を正面から向き合う時代が来た！
⚫ 品質基準はあるか？
⚫ 多くの受託開発において、品質基準が設けられていない
⚫ 品質基準は顧客の課題を解決できるものか？
⚫ 品質基準があったとしても、顧客の課題を解決するものになっていない
⚫ 顧客の課題を解決しないシステムを作ってもお咎めなし
課題 企画 要件定義 設計 実装 テスト
システム

6. Copyright (c) 2018. Kronos Co, Ltd., All Rights Reserved.
●2003年（回答者数1746件）
プロジェクト成功率： 26.7％
品質の順守率： 46.4％
コストの順守率： 76.2％
納期の順守率： 54.9％
●2018年（回答者数1201件、プロジェクト件数1745件）
プロジェクト成功率： 52.8％
満足度： 78.5％（経営層）、79％（利用者）
コストの順守率： 81.8％
スケジュール（納期）の順守率： 72.3％
日経コンピュータ
「ITプロジェクト実態調査2018」2018年3月1日号 p26-P39
（日経BP社）より
6
“品質”のあるべき姿とは？
これまでシステム・ソフトウェアの品質については、機能の正しさを判断するためのテストデータを作成し、その後の長期間に
わたるテストで欠陥がなければ品質のよいシステム・ソフトウェアである、と考えられてきた。
しかし近年では、単に欠陥がなければ品質のよいシステム・ソフトウェアであるというわけではない。欠陥がないことだけでは
なく、対象とするシステム・ソフトウェアに求められる特性を実現できていること、具備していることが重要となってきている。
ソフトウェアメトリクス高度化プロジェクト
プロダクト品質メトリクス WG
「システム及びソフトウェア品質の見える化、確保及び向上のためのガイド 」
平成 22 年 3 月（経済産業省）より

7. Copyright (c) 2018. Kronos Co, Ltd., All Rights Reserved. 7
2025年までにICT人材が最大で200万人必要
⚫ 総務省開催の情報通信審議会 情報通信政策部会（2016年6月）発表
⚫ ユーザ企業のIT人材 25万人→100万人
⚫ 自分たちで使うシステムは自分たちで作れ
⚫ IT企業のIT人材 75万人→100万人
⚫ 自ら製品やサービスを作ってイノベーションを起こせ
⚫ 発注しなければ、アジャイル開発が主流になる
⚫ アジャイルになれば、品質の捉え方も変わる
IPA「グローバル化を支えるIT人材確保・育成施策に関する調査」（平成23年3月）
目標は、IPA「IT人材白書2015」、総務省等「情報通信業基本調査報告書（平成28年3月）」等より推計

8. Copyright (c) 2018. Kronos Co, Ltd., All Rights Reserved. 8
日本でアジャイルが普及しない背景には・・・
雇用後の就業訓練
足並みをそろえる
教育
外注文化
失敗しにくい社会
終身雇用
ITエンジニアと
言えども
サラリーマン
教育関連費がOECD中最低
所属の欲求の強さ
恥ずかしいからやめなさい
報恩主義

9. Copyright (c) 2018. Kronos Co, Ltd., All Rights Reserved. 9
AIはやってみないとわからない
学習器訓練データ
収集 プログラミング
データ
分類・予測
学習済モデル
⚫ つまり、ウォータフォール的なアプローチは合わない

10. Copyright (c) 2018. Kronos Co, Ltd., All Rights Reserved. 10
清掃 × AI
⚫ 兵庫県の清掃会社
創業
資本金
従業員数
売上高
50年以上
1000万円
約5億円
20名
清掃は、差別化が難しい
何がどこにどれだけあったかを見える化
① ②
③
アプリで清掃箇所を写す AIがゴミを検知（物体認識）
地図にマップ化

11. Copyright (c) 2018. Kronos Co, Ltd., All Rights Reserved. 11
AIのテストとは
⚫ AIの品質
⚫ 学習器はそもそもコードの行数があまり長くはありません
⚫ 長くても数百行程度であり、if文やfor文などはほぼない順次構造
⚫ つまり、バグがほぼない
⚫ 「目的に沿った精度がどれだけ出せるか」
⚫ AIは100%というものはない
⚫ どれだけ学習済みモデルの精度を高められるか
学習器訓練データ
収集 プログラミング
データ
分類・予測
学習済モデル

12. Copyright (c) 2018. Kronos Co, Ltd., All Rights Reserved. 12
画像認識における誤検知と検出漏れ
⚫ 誤検知
⚫ 誤って検知してしまうこと
⚫ ゴミでないもの（横断歩道、車、縁石など）を「ゴミである」」と認識する
⚫ 検出漏れ
⚫ ゴミを「ゴミではない」と認識する
⚫ どちらを目指すか定義しなければならない
⚫ 誤検知と検出漏れはトレードオフ
⚫ 精度を高めるためには、どちらを目指すか決める
できるだけ、取りこぼし
のないようにしてほしい
誤検知 検出漏れ
清掃評価支援サービス
＞

13. Copyright (c) 2018. Kronos Co, Ltd., All Rights Reserved. 13
AI製作過程
① ゴミが写った写真データを集める
⚫ 社員総出で通勤時などに動画撮影→5000枚
② データ量を増やす
⚫ 明暗を変えたデータ
⚫ 角度を変えたデータ
⚫ 明暗かつ角度を変えたデータ
③ データにタグ付け
⚫ 写真のどこにどういったゴミがあるかタグを付ける
④ 様々なパターンで学習済みモデルをつくる
⚫ 精度検証

14. Copyright (c) 2018. Kronos Co, Ltd., All Rights Reserved. 14
さまざまな学習済みモデルをつくる
＜考察＞
⚫ ①のみより、②を含めた学習済みモデル（つまり④）の方が物体認識の精度が高まった
⚫ ただし、誤検知率も高まるため不採用に（後述）
⚫ ①と③は精度が変わらなかった
⚫ Object Detection API内で角度は考慮されているため
⚫ ⑥は過学習になる可能性が①または③よりも高まる
①
②
③
④ ⑤ ⑥ ⑦
オリジナルデータ
明暗を変えたデータ
角度を変えたデータ

15. Copyright (c) 2018. Kronos Co, Ltd., All Rights Reserved. 15
精度が高いものはあったが、結局オリジナルデータを採用
学習器訓練データ
収集 プログラミング
データ
分類・予測
学習済モデル
Object Detection API
Python＋JS
（300行）
（0行）
Google Cloud
Dataflow
Google Cloud
Functions
が、それでも80%ほどしか精度が出なかった・・・

16. Copyright (c) 2018. Kronos Co, Ltd., All Rights Reserved. 16
オリジナルデータ オリジナル＋明暗を変えたデータ
100%
1%
100%
1%
タバコの吸い殻かもしれないし
そうでないかもしれない
タバコの吸い殻識別精度は
上がっている
0.60
0.45
オリジナルデータを採用した理由

17. Copyright (c) 2018. Kronos Co, Ltd., All Rights Reserved. 17
80%から90%超えに！けど、AIの精度を追いすぎない
アプリ
Python＋JS
Google Cloud
Dataflow
Google Cloud
Functions
画像データを
ZIPアップロード ・1枚ずつ処理
・AIで識別
・閾値以下の識別結果はカット
・ヒートマップ化
マップ閲覧
AIの精度を上げるのはなかなか大変なので、ヒートマップ化の前に閾値でフィルタリング

18. Copyright (c) 2018. Kronos Co, Ltd., All Rights Reserved.
（参考情報）
⚫ 体制
⚫ 2名
⚫ 開発期間
⚫ 3カ月
⚫ アプリ 2人月
⚫ AI 3人月
⚫ 計 5人月
⚫ 言語
⚫ Python3
⚫ JavaScript
⚫ ライブラリ
⚫ TensorFlow
⚫ Object Detection API
⚫ OpenCV
⚫ scikit-video
⚫ FFmpeg
⚫ Jupyter notebook
⚫ IDE
⚫ VSCode
⚫ Android Studio
⚫ インフラ
⚫ Cloud Functions
⚫ Cloud Dataflow
⚫ Cloud Machine Learning Engine
⚫ Cloud Filestore
⚫ Cloud Storage
18

19. Copyright (c) 2018. Kronos Co, Ltd., All Rights Reserved.
Thank you for your attention.
ご清聴ありがとうございました。