Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

Ques12「AIのテスト~誤検知と検出漏れ~」

978 views

Published on

第12回(2018/11/16)Quesの資料
株式会社クロノス
大石宏一

Published in: Technology
  • Be the first to comment

Ques12「AIのテスト~誤検知と検出漏れ~」

  1. 1. Copyright (c) 2018. Kronos Co, Ltd., All Rights Reserved. 株式会社クロノス AIソリューション/Webシステム開発 / モバイルアプリ開発 / IT研修・トレーニング - 心を豊かにする「ものづくり」と「ひとづくり」 - AIのテスト ~画像認識における誤検知と検出漏れ~
  2. 2. Copyright (c) 2018. Kronos Co, Ltd., All Rights Reserved. cloud ⚫ 大石 宏一 (Oishi Hirokazu) oishi@kronos.jp ⚫株式会社クロノス https://www.kronos.jp ⚫ラーニング部 シニアマネージャ ⚫教育、システム開発、執筆などを手掛ける ⚫春以外で、年間100講演ほど登壇 ⚫ 主な著書 ⚫[書籍] Seasar2によるWebアプリケーションスーパーサンプル ⚫[記事] Webの上のポジョをシームレスにつなぐJBoss Seam (@IT) ⚫[雑誌] eclipseパーフェクトマニュアル ⚫[記事] IT人材の必要性と効果的な採用方法 (@人事) ⚫[記事] AIでシステム開発はこう変わる (AINOW) など Speaker 2
  3. 3. Copyright (c) 2018. Kronos Co, Ltd., All Rights Reserved. cloud “成功事例の共有”と“共に考える仲間作り”の場 ①生の成功事例の共有 ②師と友づくり ③情報交換会によるPDCA効果 生の成功事例をゲスト講師から講演い ただきます。 ゲスト講師は現役経営者、専門学者な どの第一線で活躍する方々に限定して います。 師(AI×Data活用を成功させている方)と 友(AI×Data活用に向けて共に学び合える 方)に出会い、相互に学び合い・高め合う ことで、AI活用に向けた実行をサポート します。 会員相互の情報交換会を重視していま す。 自社の課題や実施したこと、他の会員企 業様が実施されたことなどを確認でき、 次の行動につながるPDCA効果にもつなが ります。 「AI×Data活用研究会」 3
  4. 4. Copyright (c) 2018. Kronos Co, Ltd., All Rights Reserved. 4 認識 行動 言語 2014 2020 2025 2030 感情理解 行動予測 環境認識 画像認識 の 精度向上 状況に 合わせた 作業 言語理解 大規模 知識理解 作業の 熟練・上達 第3次AIブームの発端は画像認識 • 画像認識 • 文字認識 • 音声認識 東京大学大学院工学系研究科 松尾豊特任准教授 「人工知能の発展と必要な能力」より ~ 2014年9月での未来予測 ~
  5. 5. Copyright (c) 2018. Kronos Co, Ltd., All Rights Reserved. 5 顧客の課題を正面から向き合う時代が来た! ⚫ 品質基準はあるか? ⚫ 多くの受託開発において、品質基準が設けられていない ⚫ 品質基準は顧客の課題を解決できるものか? ⚫ 品質基準があったとしても、顧客の課題を解決するものになっていない ⚫ 顧客の課題を解決しないシステムを作ってもお咎めなし 課題 企画 要件定義 設計 実装 テスト システム
  6. 6. Copyright (c) 2018. Kronos Co, Ltd., All Rights Reserved. ●2003年(回答者数1746件) プロジェクト成功率: 26.7% 品質の順守率: 46.4% コストの順守率: 76.2% 納期の順守率: 54.9% ●2018年(回答者数1201件、プロジェクト件数1745件) プロジェクト成功率: 52.8% 満足度: 78.5%(経営層)、79%(利用者) コストの順守率: 81.8% スケジュール(納期)の順守率: 72.3% 日経コンピュータ 「ITプロジェクト実態調査2018」2018年3月1日号 p26-P39 (日経BP社)より 6 “品質”のあるべき姿とは? これまでシステム・ソフトウェアの品質については、機能の正しさを判断するためのテストデータを作成し、その後の長期間に わたるテストで欠陥がなければ品質のよいシステム・ソフトウェアである、と考えられてきた。 しかし近年では、単に欠陥がなければ品質のよいシステム・ソフトウェアであるというわけではない。欠陥がないことだけでは なく、対象とするシステム・ソフトウェアに求められる特性を実現できていること、具備していることが重要となってきている。 ソフトウェアメトリクス高度化プロジェクト プロダクト品質メトリクス WG 「システム及びソフトウェア品質の見える化、確保及び向上のためのガイド 」 平成 22 年 3 月(経済産業省)より
  7. 7. Copyright (c) 2018. Kronos Co, Ltd., All Rights Reserved. 7 2025年までにICT人材が最大で200万人必要 ⚫ 総務省開催の情報通信審議会 情報通信政策部会(2016年6月)発表 ⚫ ユーザ企業のIT人材 25万人→100万人 ⚫ 自分たちで使うシステムは自分たちで作れ ⚫ IT企業のIT人材 75万人→100万人 ⚫ 自ら製品やサービスを作ってイノベーションを起こせ ⚫ 発注しなければ、アジャイル開発が主流になる ⚫ アジャイルになれば、品質の捉え方も変わる IPA「グローバル化を支えるIT人材確保・育成施策に関する調査」(平成23年3月) 目標は、IPA「IT人材白書2015」、総務省等「情報通信業基本調査報告書(平成28年3月)」等より推計
  8. 8. Copyright (c) 2018. Kronos Co, Ltd., All Rights Reserved. 8 日本でアジャイルが普及しない背景には・・・ 雇用後の就業訓練 足並みをそろえる 教育 外注文化 失敗しにくい社会 終身雇用 ITエンジニアと 言えども サラリーマン 教育関連費がOECD中最低 所属の欲求の強さ 恥ずかしいからやめなさい 報恩主義
  9. 9. Copyright (c) 2018. Kronos Co, Ltd., All Rights Reserved. 9 AIはやってみないとわからない 学習器訓練データ 収集 プログラミング データ 分類・予測 学習済モデル ⚫ つまり、ウォータフォール的なアプローチは合わない
  10. 10. Copyright (c) 2018. Kronos Co, Ltd., All Rights Reserved. 10 清掃 × AI ⚫ 兵庫県の清掃会社 創業 資本金 従業員数 売上高 50年以上 1000万円 約5億円 20名 清掃は、差別化が難しい 何がどこにどれだけあったかを見える化 ① ② ③ アプリで清掃箇所を写す AIがゴミを検知(物体認識) 地図にマップ化
  11. 11. Copyright (c) 2018. Kronos Co, Ltd., All Rights Reserved. 11 AIのテストとは ⚫ AIの品質 ⚫ 学習器はそもそもコードの行数があまり長くはありません ⚫ 長くても数百行程度であり、if文やfor文などはほぼない順次構造 ⚫ つまり、バグがほぼない ⚫ 「目的に沿った精度がどれだけ出せるか」 ⚫ AIは100%というものはない ⚫ どれだけ学習済みモデルの精度を高められるか 学習器訓練データ 収集 プログラミング データ 分類・予測 学習済モデル
  12. 12. Copyright (c) 2018. Kronos Co, Ltd., All Rights Reserved. 12 画像認識における誤検知と検出漏れ ⚫ 誤検知 ⚫ 誤って検知してしまうこと ⚫ ゴミでないもの(横断歩道、車、縁石など)を「ゴミである」」と認識する ⚫ 検出漏れ ⚫ ゴミを「ゴミではない」と認識する ⚫ どちらを目指すか定義しなければならない ⚫ 誤検知と検出漏れはトレードオフ ⚫ 精度を高めるためには、どちらを目指すか決める できるだけ、取りこぼし のないようにしてほしい 誤検知 検出漏れ 清掃評価支援サービス >
  13. 13. Copyright (c) 2018. Kronos Co, Ltd., All Rights Reserved. 13 AI製作過程 ① ゴミが写った写真データを集める ⚫ 社員総出で通勤時などに動画撮影→5000枚 ② データ量を増やす ⚫ 明暗を変えたデータ ⚫ 角度を変えたデータ ⚫ 明暗かつ角度を変えたデータ ③ データにタグ付け ⚫ 写真のどこにどういったゴミがあるかタグを付ける ④ 様々なパターンで学習済みモデルをつくる ⚫ 精度検証
  14. 14. Copyright (c) 2018. Kronos Co, Ltd., All Rights Reserved. 14 さまざまな学習済みモデルをつくる <考察> ⚫ ①のみより、②を含めた学習済みモデル(つまり④)の方が物体認識の精度が高まった ⚫ ただし、誤検知率も高まるため不採用に(後述) ⚫ ①と③は精度が変わらなかった ⚫ Object Detection API内で角度は考慮されているため ⚫ ⑥は過学習になる可能性が①または③よりも高まる ① ② ③ ④ ⑤ ⑥ ⑦ オリジナルデータ 明暗を変えたデータ 角度を変えたデータ
  15. 15. Copyright (c) 2018. Kronos Co, Ltd., All Rights Reserved. 15 精度が高いものはあったが、結局オリジナルデータを採用 学習器訓練データ 収集 プログラミング データ 分類・予測 学習済モデル Object Detection API Python+JS (300行) (0行) Google Cloud Dataflow Google Cloud Functions が、それでも80%ほどしか精度が出なかった・・・
  16. 16. Copyright (c) 2018. Kronos Co, Ltd., All Rights Reserved. 16 オリジナルデータ オリジナル+明暗を変えたデータ 100% 1% 100% 1% タバコの吸い殻かもしれないし そうでないかもしれない タバコの吸い殻識別精度は 上がっている 0.60 0.45 オリジナルデータを採用した理由
  17. 17. Copyright (c) 2018. Kronos Co, Ltd., All Rights Reserved. 17 80%から90%超えに!けど、AIの精度を追いすぎない アプリ Python+JS Google Cloud Dataflow Google Cloud Functions 画像データを ZIPアップロード ・1枚ずつ処理 ・AIで識別 ・閾値以下の識別結果はカット ・ヒートマップ化 マップ閲覧 AIの精度を上げるのはなかなか大変なので、ヒートマップ化の前に閾値でフィルタリング
  18. 18. Copyright (c) 2018. Kronos Co, Ltd., All Rights Reserved. (参考情報) ⚫ 体制 ⚫ 2名 ⚫ 開発期間 ⚫ 3カ月 ⚫ アプリ 2人月 ⚫ AI 3人月 ⚫ 計 5人月 ⚫ 言語 ⚫ Python3 ⚫ JavaScript ⚫ ライブラリ ⚫ TensorFlow ⚫ Object Detection API ⚫ OpenCV ⚫ scikit-video ⚫ FFmpeg ⚫ Jupyter notebook ⚫ IDE ⚫ VSCode ⚫ Android Studio ⚫ インフラ ⚫ Cloud Functions ⚫ Cloud Dataflow ⚫ Cloud Machine Learning Engine ⚫ Cloud Filestore ⚫ Cloud Storage 18
  19. 19. Copyright (c) 2018. Kronos Co, Ltd., All Rights Reserved. Thank you for your attention. ご清聴ありがとうございました。

×