Yutaka KATAYAMA, profile picture
Uploaded byYutaka KATAYAMA
381 views

令和元年度 実践セミナー - Deep Learning 概論 -

実践セミナー

Embed presentation

令和元年度 実践セミナー - Deep Learning 概論 - 大阪市立大学医学部附属病院 片山 豊
engineer・技師としての自己紹 介 …………………………………… 開 発 業 …………………………………… • 1998 年 : オートバイ用マフラーの開発・製造 • CAD/CAM を用いたマシニング • オンラインショッピングシステム (cgi，JavaScript) の構築 …………………………………… 放射線技師 …………………………………… • 2003 年: 大阪大学医学部附属病院 (Intern) • 2004 年: 市立泉佐野りんくう総合医療センター (非常勤) • 2006 年: 北摂総合病院 • 2007 年: 大阪市立大学医学部附属病院 • 2018 年: 人工知能研究会 (大阪市立大学放射線診断学・IVR 学) に Join ………………………………… 主な研究内容 ………………………………………………………………………………………………… • EGS4 を用いて低エネルギー領域の視野外 X 線のモンテカルロシミュレーション • Bilateral Filter を用いた核医学画像の画質改善1 • Super-Resolution による放射線画像の高解像度化2 • Compressed Sensing を用いた CT の被曝低減処理 • 深層学習を用いた Detection/Classification • 敵対的生成ネットワーク Generative Adversarial Networks (GAN) を用いた放射線画像の生成 1) 片山 豊, 上田健太郎, 日浦慎作, 他. 骨シンチグラフィへのバイラテラルフィルタの適用. 日本放射線技術学会雑誌, 2013, 69.12: 1363-1371. 2) 片山 豊, 上田 健太郎, 日浦 慎作, 他. PET 画像に対する超解像を用いたデノイズ手法の適用. 日本放射線技術学会雑誌, 2018, 74.7: 653-660.
巷でよく言われる深層学習 • yes/no の分類 • a, b, c, … の分類 ⇒ 分類のためのモデル構築 • スパム分類 • ヒト・イヌ・ネコと言ったカテゴリへの画像分類 • AI に職が奪われる • FAX すらなくならない 日本ではきっと起こらない
“AI” と画像検索すると…
AIに職が奪われる 2019/05/20より JR 新宿駅の西口改札内の北通路に 1 週間にわたって掲出 AI Facebook より引用
経済的機会のある Technology 2018 2019 1 IoT IoT 2 自動化 AI 3 AI 5G 4 VR/AR サーバーレスコンピューティング 5 5G ブロックチェーン 6 3D プリンタ ロボティクス 7 ドローン バイオメトリクス 8 バイオメトリクス 3D プリンタ 9 ブロックチェーン VR/AR 10 量子コンピューティング ドローン 短期的にビジネスチャンスがあるとされる新興テクノロジーのトップ10リスト グローバルな IT 業界団体 CompTIA の Emerging Technology Community 調べ
人工知能 ≒ 深層学習？ • AI ⊃ ML ⊃ NN ⊃ DL 人工知能 (artificial intelligence: AI) 機械学習 (machine learning: ML) Neural Network (NN) 深層学習 (deep learning: DL)
人工知能 (artificial intelligence: AI) • AI ⊃ ML ⊃ NN ⊃ DL 人工知能 (artificial intelligence: AI) 機械学習 (machine learning: ML) Neural Network (NN) 深層学習 (deep learning: DL)
Artificial Intelligence (AI) • 人工知能とは， [機械によって再現される人の知性] と定義 • 人が行っているタスクをコンピュータに担わせる • 現在主流の AI は弱い AI (特化型人工知能: Narrow AI) • [人より巧みに行える物事が 予め定義された一つ (複数個) に限定] • 機械学習はナロー AI の一つ K.I.T.T.@ナイトライダー ドラえもん 則巻アラレ Siri@iPhone＆MacOS (自然言語処理)
Autopsy imaging (Ai) • 狭義: 死亡時画像診断 広義: 死亡時画像病理診断 • 「Autopsy＝検死」 「imaging＝画像診断」に由来する造語 • 画像診断によって死因を検証 • 略語として「Ai」と称される
身近な機械学習 検索エンジン 推奨システム 音声認識 Siri @ Google Assistant 遺伝子データ解析
現在の AI (= 弱い AI) • 特定分野の人間の知識を整理し，データとして 蓄積しておき，問い合わせに対してその意味を 理解しながら，蓄積したデータを用いて推論， 判断するエキスパートシステムなど (ASCII.jpデジタル用語辞典) • 膨大な計算を膨大なエネルギーを使って 膨大な半導体を動作させて 解答または選択肢を絞り込む • 非常に強引なやり方 ⇒ 数を打てば当たるの総当たり戦略 入力に対して適切な出力を出すシステム
AI でわかること • AI というのは，大規模のデータを統計的な アルゴリズムを使い予測に役立てる技術の総称 • 大量のデータに対して，統計的に分析を行い， 対象となる物事をコンピュータが自動的に分析／予測 • 「統計的な分析」であり事物を理解するわけではない • データで表現されている数値の推移の予測や 文字列または画像の分類 • AI で判明するのは「相関」であり「因果」ではない • 「相関」ということは，複数の変数に関わりがあることは 示せるが，本当に関係しているかどうかは不明 意味を見いだして「因果」を証明するのは，人間の仕事
AI の弱点 • 色が似ているため砂漠を裸の人と認識 ⇒ AI から見た砂漠の画像は Pornographie • 区別するには「裸でいる状況」を 理解する必要があり非常に難しい課題
AI 俳句協会 (https://aihaiku.org/) • AI が最も不得意とされている「感性」や「独創 性」の結実した『俳句づくり』に挑戦し，AI 文書 作成の先進的技術開発に貢献することを目的
歴史 引用: NVIDIA ブログ 人工知能、機械学習、ディープラーニングの違いとは https://blogs.nvidia.co.jp/2016/08/09/ whats-difference-artificial-intelligence-machine-learning-deep-learning-ai/
歴史 引用: 総務省 HP 第 1 部 特集 IoT・ビッグデータ・AI ～ネットワークとデータが創造する新たな価値～ http://www.soumu.go.jp/johotsusintokei/whitepaper/ja/h28/html/nc142120.html 大型コンピュータからパーソナルコンピュータを経て， スマートフォンの普及によりデータ流通量の爆発的増加． ⇒ビッグデータ時代の到来 白いタピオカが入った ココナッツミルク (1992 年) 黒いタピオカが入った ココナッツミルク (2008 年) 黒いタピオカドリンク (2018 年)
特許 AI 関連発明の国内出願件数の推移 2019年7月 特許庁 審査第四部 審査調査室 G06N: 特定の計算モデルに基づくコンピュータ・システム
イギリスの新しい 50 ポンド紙幣 • 2021 年末までに流通が開始されるイギリスの 新しい 50 ポンド紙幣の肖像に，コンピュー ター科学の先駆者で暗号解読者のアラン・ チューリング (1912 ～1954 年) が採用
機械学習 (machine learning: ML) • AI ⊃ ML ⊃ NN ⊃ DL 人工知能 (artificial intelligence: AI) 機械学習 (machine learning: ML) Neural Network (NN) 深層学習 (deep learning: DL)
機械学習とは… • 機械学習は， [物事を本質的に予測する] ためのもの． • 既知のデータからパターンを学習することで， 未知のデータに遭遇した際も学習した パターンを元に分類することが可能 • 機械学習の優れている点は，(人の手が介在することなく) 一度学習したデータから再び学習可能 教師あり学習 教師なし学習 強化学習 機械学習
機械学習とは… 機械学習 教師あり学習 回帰 売上予測，人口予測， 需要予測，不正検知 分類 故障診断，画像分類， 顧客維持 教師なし学習 クラスタリング レコメンド，顧客セグ メンテーション，ター ゲットマーケティング 強化学習 バンディット アルゴリズム ゲーム，広告，自動運 転，リアルタイム診断 Q 学習
機械学習とは… 機械学習 教師あり学習 回帰 売上予測，人口予測， 需要予測，不正検知 分類 故障診断，画像分類， 顧客維持 教師なし学習 クラスタリング レコメンド，顧客セグ メンテーション，ター ゲットマーケティング 強化学習 バンディット アルゴリズム ゲーム，広告，自動運 転，リアルタイム診断 Q 学習
教師あり学習 ⇒ 要教師データ (Supervised Training) • ラベリング済みのデータが与えられる学習方法 • “果物” について “色・重さ・種類” という要素 を学習することで，新しい情報が入力された際 に予測 • 初期はこの分野の開発が最も発達 バナナ リンゴ ブドウ 訓練データ 未知の画像 機械学習アルゴリズム 画像はブドウ
教師なし学習 ⇒ 自習 (Unsupervised Training) • 出力データが学習時に与えられない学習方法 • 正解となる出力を与えず入力データから 規則性を発見していくのが特徴 • ラベリングされていないデータセットをもとに 機械が自ら学習を行うという仕組 購買データ 機械学習アルゴリズム • レコメンデーション • グルーピング • 売上予測
分布の分類
教師あり学習 vs 教師なし学習 教師あり学習 教師なし学習
強化学習 ⇒ RIZAP (Reinforcement Learning) • 実行と失敗を繰り返す中で， 徐々に正しい方向を見いだすという学習方法 • Computer に単純なゲームをルールを教えずに実行 • 偶然に良い結果を出した時には報酬を与える • 悪い結果の時には報酬なし or 罰を与える • 報酬を最大限にすることを目標をするよう設定し ゲームを複数回実行 • 最終的には最も効率よく正答にたどり着く方法にたどり着く (ex: alphaGo)
転移学習 (Transfer Learning) • ある領域で学習させたモデルを 別の領域に適応させる技術 • 広くデータが手に入る領域で学習させたモデルを 少ないデータしかない領域に適応させたり， シミュレータ環境で学習させたモデルを 現実に適応させたりする技術 • 学習データが増えた際にも追加で学習を行える • 近年目覚ましい発達を遂げている
Neural Network (NN) • AI ⊃ ML ⊃ NN ⊃ DL 人工知能 (artificial intelligence: AI) 機械学習 (machine learning: ML) Neural Network (NN) 深層学習 (deep learning: DL)
ニューラルネットワーク • 脳神経を模範した数学モデル • Network 形成する多数の人工ニューロンの シナプス結合強度を変化させて 問題解決能力を獲得 神経細胞 (Wikipedia) 樹状突起 核 細胞体 ミエリン鞘 ランヴィエ絞輪 シュワン細胞 軸索末端 入力 出力 ニューロンモデル 閾値 入力 1 入力 2 出力 結合荷重
第一世代 単純パーセプトロン • 2 入力のパーセプトロンは 2 つの入力を受け取り1 つの信号を出力する関数 W1 W2 • 一次不定方程式 • 非線形な識別は原理的に不可能 • 出力は 0 か 1 のどちらか • 入力に重みを掛け合わせた 値の和に対して bias (b) を 加えたものに応じて “0” か “1” を出力 b x1 y x2 1
連立方程式 • 2 点 (P，Q) を 通る一次関数について， a，b の値を求める． P Q
連立方程式 • 2 点 (P，Q) を 通る一次関数について， a，b の値を求める． P Q
連立方程式 • 入力層のユニット数が 1 出力層のユニット数が 1 の簡単な NN 入力層 ⓧ 出力層 ⓨ
分類問題の基本 - NN 特徴抽出可能 特徴抽出不可能 • 1 次関数として (最小単位) の NN → 直線的に分類できる簡単な特徴抽出に有効
第二世代 多層パーセプトロン • 多数の単純パーセプトロンを階層的に組み合わせる • 十分な数のニューロンが隠れ層にあれば 任意の非線形関数は 3 層のネットワークで近似可能 • パラメータの最適化は NP 困難 • 誤差逆伝搬法で局所解へ収束 Inputs Outputs
第二世代 多層パーセプトロン • 4 層以上の誤差逆伝搬法は成功しない • 一般に層が深くなるほど 誤差逆伝搬法が下層まで届かなくなる • 学習の精度が下っていくので層を増やしすぎない 適切な仕組みが必要 • 過学習が多い (訓練データにのみに適応される現象) Inputs Outputs
深層学習 (deep learning: DL) • AI ⊃ ML ⊃ NN ⊃ DL 人工知能 (artificial intelligence: AI) 機械学習 (machine learning: ML) Neural Network (NN) 深層学習 (deep learning: DL)
第三世代 深層学習 • 多層 (4 層以上) の NN (deep neural network: DNN) による機械学習手法 • ありとあらゆる特徴を抽出可能 • 畳み込み層より特徴量を抽出 • 半自動で特徴量抽出が可能 深層学習 人工知能学会 深層学習手法の全体像 xiv 2 層: パーセプトロン 3 層: 階層型ニューラルネット
第三世代 深層学習 Inputs Outputs Input Layer Hidden Layer Output Layer Deep Learning は中間層を多層にすることで情報伝達と処理を増やし出力層が深い位置にある Neural Network に比べて特徴量の精度や汎用性をあげたり，予測精度を向上させることが可能
深層学習のインパクト • 2012 年には物体の認識率を競う Large Scale Visual Recognition Challenge (ILSVRC*) で Geoffrey Everest Hinton 率いるトロント大学のチームが深層学習に よって圧勝 (画像識別制度75 % → 96 %)． • コンマ何 % の精度を競い，人力での細かい調整の 勝負となると思われていたが，Task1 と Task2 で 2 位以下を 10% 以上引き離して勝利． * ILSVRCは2010年から始まった大規模画像認識の競技会
多層化 (4 層以上) による問題 • 勾配消失 (NN の問題点) • Backpropagation を行い 複数の層を伝播していく過程で誤差情報が消失 • 活性化関数 (rectified linear unit: ReLU) の使用 • 自己符号化器による事前学習で初期値設定 • 過学習 (過適合) • 多層化によって複雑な事象をモデル化できるが 学習データにあまりに適合しすぎて 学習データ以外では正解率が低くなる現象 • 学習データだけに最適化されて汎用性がない状態 • アルゴリズムの改良とデータ量の増大 • 増大したデータを処理できるコンピュータの爆発的な性能向上
過学習 (過適合) • 精度が高い DL • 学習データが少ないと過学習となり精度 100% • 交差検証ができない • 過学習 (過適合) を防ぐために正則化が必要 • 医療系 AI にありがちな精度が高すぎる研究は データセットを再確認！
連立方程式 • 4 点 (P，Q，R，S) を 通る一次関数について， a，b の値を求める． • 未知数が 2 個 (a，b) ， 点 (方程式)が 4 本なので 解けない． • なるべく，4 点の近くを 通る線を求める． P Q R S
連立方程式 • 4 点 (P，Q，R，S) を 通る一次関数について， a，b の値を求める． • 未知数が 2 個 (a，b) ， 点 (方程式)が 4 本なので 解けない． • なるべく，4 点の近くを 通る線を求める． P Q R S
連立方程式 • 出力 (y) と入力 (x) の関係を学習 ⇒ 複数あるデータ (x) を 入力して出力 (y) と 近くなるように学習 • aN: 学習の重み P Q R S
連立方程式 • 出力 (y) と入力 (x) の関係を学習 ⇒ 複数あるデータ (x) を 入力して出力 (y) と 近くなるように学習 • aN: 学習の重み P Q R S
分類問題の基本 - DL 特徴抽出可能 特徴抽出可能 3 層以上の NN (DL) は可微分で連続な任意関数を近似できる
深層学習のまとめ • 深層学習の基本構造は関数 • 入力に対して適切な出力を出すシステム Input Output 碁盤の画像 次の一手
• 多層ニューラルネットワーク • 入力ベクトルを変換する関数のモデル • 層の数だけベクトル変換を繰り返す 深層学習システムの中身 Inputs Outputs Input Layer Hidden Layer Output Layer
深層学習システムの傾向 • 層を増やして巨大化 • 層の数が多い ⇒ パラメータが増加 • 膨大なパラメータ ⇒ 膨大なデータから学習 AlexNet (2012) VGG19 Net (2014) AlexNet VGG19 Net 層の数 8 19 パラメータ 60,000,000 100,000,000
シンギュラリティ (技術的特異点) • AI が発達することにより人間の知性を超え， 社会が急速に変化することを示す言葉 • 2005 年にレイ・カーツワイル博士が自らの著書のなかで 「2045年までには人間と AI の能力が逆転する」と提唱 • “ムーアの法則” と “収穫加速の法則” が 2045 年問題の根拠 • ムーアの法則 「集積回路の複雑さが毎年 2 倍になる」という法則 1965年に米インテル社の共同創業者であるゴード・ムーアが提唱 • 収穫加速の法則 ムーアの法則を拡張したもので， コンピュータの計算能力が加速度的に向上していることを示す • コンピュータの性能は 2045 年に技術的特異点に到達すると予測 • 人間のような知性をもった「強い AI」が登場？
深層学習と医用画像 • 日本医用画像人工知能研究会 • 日本放射線医学会の下部組織として設立
医用画像領域への DL の適用 画像分類 (Classification) 物体検出 (Detection) 画像認識 (Segmentation) 超解像 (Super-Resolution) ノイズ低減 (Denoise) 敵対的生成 ネットワーク (Generative Adversarial Networks: GAN) 自然言語 処理 (Natural Language Processing)
データセットの作成 • Detection (Classification・Segmentation) をするには… • 教師データに疾患のある画像が必要 (正常例は不要) • 画像に対応した病理検査の結果があればベスト！ • データ数は多ければ多いほど良い (正しいデータ)． • 病変の範囲 (形状) に関心領域を設定する必要があるため， 関心領域を設定できるソフトに入力できる形式に変換． • 対応する病理データを含むため， データの取扱には要注意！ • 確実に匿名化を行い，管理を行う必要がある．
画像認識の学習器作成 • 実際にビジネスに AI を導入するには… • 学習済みモデルを使用: 推論の処理のみなので大規模な計算資源は不要 • 学習モデルの作成: ⇒ 大量のデータだけではなく， 膨大な量のデータを処理するための時間や電力， GPU のように大量のデータを処理出来る機器が必要 • DL の特徴として，正しい生データの量が多ければ多いほど精度上昇 ⇒ 大量のデータさえあれば DL で従来の ML では扱えなかった 複雑なデータでも処理を行うことが可能になったが， 識別結果の調整が難しくテストデータが少ないと性能が出せない 学習用データ セット作成 学習済み モデル 未知の画像 ? 学習済み モデル 画像認識 ex: Dog or Cat 学習処理 推論処理 Dog Cat モデル 学習 特徴量 抽出
乳がん • 乳がんの発症を高い精度で予測できる AI モデルを MIT が開発 • 2009 年 1 月 1 日から 2012 年 12 月 31 日までの 39,571 人 88,994 件のマンモグラフィを使用 • 人の目では認識できない微細なパターンも 特定できるように訓練 • 人種に関わらず高精度 Above: MIT/MGH AI model identified woman at high risk 4 years (left) before her breast cancer (right):.Image Credit: MIT CSAIL
肺がん A promising step forward for predicting lung cancer https://www.blog.google/technology/health/lung-cancer-prediction/ End-to-end lung cancer screening with three-dimensional deep learning on low-dose chest computed tomography Nature Medicine (2019) • 肺がんの発症を高い精度で予測できる AI モデルを Google が開発 • 匿名化された 45,856 件の胸部 CT スクリーニング 検査でがんが発見された症例 • Google の AI モデルは医師チームよりも がんのケースを 5 ％多く検知でき， 誤診率は 11 ％低かった
世界最大のデータセット • Google は 2016 年に機械学習のためのデーセット 「Open Images」を初めてリリース． • 2019 年 5 月 8 日に Open Images Dataset V5 を公開． • Open Images Dataset V5 は 350 カテゴリにわたる 280 万個のセグメンテーションマスクが用意されている． Google AI Blog: Announcing Open Images V5 and the ICCV 2019 Open Images Challenge https://ai.googleblog.com/2019/05/announcing-open-images-v5-and-iccv-2019.html
標準ディジタル画像 データベース［胸部腫瘤陰影像］ • JSRT が公開している “標準ディジタル画像 データベース［胸部腫瘤陰影像］” が必須 http://imgcom.jsrt.or.jp/download/ http://imgcom.jsrt.or.jp/minijsrtdb/
眼底画像のデータセット • 三栄会ツカザキ病院 (姫路市)は 2019 年 7 月 25 日 眼底画像のデータセット約 13,000 枚を公開 • 研究や教育目的なら無料で利用可能
データセットの利用 • 自施設でデータセットを作成するには， 大量の答え付きのデータセットが必要だが， 公開されているデータセットを利用するので あれば，アルゴリズムの開発のみで良い． • 肺がん，乳がんのデータセット (研究) が多い理由は， 画像データと病理データが紐付いて存在しているため． • 疾患に対するデータセットの多くは 所見が間違えていることがある． • 公開データを用いる場合はそこもチェックが必要．
データセットの作成 • 工学系の人は， 公開されている患者情報 (カルテ情報) しか 入手できずデータセットの作成ができない． • 患者情報にアクセスできるのが医療職の アドバンテージ (倫理委員会の許可が必須) • 深層学習を用いた研究は工学系では安定期 • 深層学習を用いた研究は医療領域では臨床適用期 • 医療画像による病変検出は医師の代替でしかなく， AI でないとできないことがない． • 臨床としては意味があるが， テクノロジーとしては面白さがない．
データセットの要件 • AI 技術によって業務プロセスを自動化するに は，膨大な量の学習用データが必要だと考えが 主流 (だった) • 正しくない学習用データによる誤った判断につなが る不適切なバイアスが問題 • 学習用データの質が重視される • 機械学習をベースにした AI システムから有益 な結果を得るためには，質の高い学習用データ の用意が必要
scikit-learn algorithms cheat-sheet Scikit-Learn: Pythonのオープンソース機械学習ライブラリ 分類 回帰 クラスタリング 次元削除頑張って！ サンプル数が 50 以上あるか サンプル数が 10 万件以下か サンプル数が 10 万件以下か サンプル数が 1 万件以下か サンプル数が 1 万件以下か
法律の解釈 • 平成 30 年 12 月 19 日 厚生労働省医政局医事課長通知文書 • 「人工知能 (AI) を用いた診断、 治療等の支援を行うプログラムの利用と 医師法第 17 条の規定との関係について」 • AI を用いた診断・治療支援を行うプログラムを利用 して 診療を行う場合についても、診断、治療等を行う主体は 医師であり、医師はその最終的な判断の責任を負う こととなり、当該診療は医師法 第 17 条の医業として 行われるものであるので、十分ご留意をいただ きたい。「診断責任は医師」 ⇒ こう定義されたので医療 AI は動き出した
AI 搭載医療機器の 承認審査短縮へ法改正 • 動脈瘤の検出など，医療分野では AI を活用し た様々な取り組みがなされている • 新しく取得したデータを再学習させると性能が 向上するという AI の特性上，性能が変われば 頻繁に審査を受ける必要がある • 法改正により，再学習で性能が向上した場合の 承認審査期間が短縮がされる見通し
時流 - AI Winter is well on its way • 米の AI 研究者の Filip Piekniewski 氏が，自身の Blog で「AI 冬の時代がやってくる」と主張 https://blog.piekniewski.info/2018/05/28/ai-winter-is-well-on-its-way/
時流 - AI Winter is well on its way ① Deep Learning の研究者たちの (ネット上での) 発言が少なくなった ② Deep Learning はスケールしていない ③ 自動走行技術は，まだまだ不完全 • 2012 年に AlexNet という DL のモデルが 世界中の AI 研究者に衝撃を与えた • AlexNet のパラメータ数は 6000 万程度 • 最近のモデルのパラメータ数は AlexNet の 1000 倍以上 • 性能が 1000 倍以下 • 一部の研究者が主張するほど，DL が 指数関数的な進化を遂げていない
時流 - Thomas Nield の主張 • AI の歴史 • 推論や検索に基づいた第 1 次 AI ブーム • エキスパートシステムの開発が流行した第 2 次 AI ブーム • これらのブームが終息した原因 • AI に対する過度な期待とその期待に便乗した AI の誇張 • AI で実現可能なことを実際より大きく見せることで期待を煽るが， その期待に応えられない度にブームが終息 • 現在の AI ブームに煽動と誇張を見る同氏は， この流行は2019年から2020年にかけて終息すると主張． • ディープラーニングの流行がもたらした第 3 次 AI ブーム • ディープラーニングの進化を加速するはずの学習データが 不足していること，さらにはディープラーニングをもってしても 計算複雑性理論から見て解決困難な問題は依然として解決が難しい • AI を正しく活用するためにはディープラーニングの効用を妄信せず， 個々の問題にあった AI 技法を適用する Thomas Nield アメリカ大手航空会社サウスウエスト航空のビジネスコンサルタントを務めているとともに， SQL や RxJava に関する入門書をオライリーから出版． 同氏が長文英文記事メディア Medium に投稿した記事の要約．
時流 - 敵対的生成ネットワーク • 2018 年頃は，AI バブルの様相を呈していた． • 機械学習と呼んでいたものが，AI と名称変更する だけで新規性に富んだテーマとして扱われる． • AI を実現できるソフトウェアが開発され， モデルの構築が簡便に実現可能な プラットフォームが完成． ⇒ AI は安定期 (一般化) に突入． • 敵対的生成ネットワーク (Generative adversarial networks: GANs) を用いた研究が盛んになり， 新たな時流が生じた．
時流 - 敵対的生成ネットワーク • 2014 年にイアン・グッドフェローらによって 発表された教師なし学習で使用される人工知能 アルゴリズムの一種 • ゼロサムゲームフレームワークで 互いに競合する2つのニューラルネットワークの システムによって実装
GAN の仕組み • 二つの AI が違う役割を持って， 切磋琢磨することによって，似ているデータを作成 • Generator (生成者) 生成データの特徴の種に相当するノイズを入力することで， このノイズを所望のデータに近づけるようにマッピングする． ⇒ データ生成 • Discriminator (識別者) Generator が生成した偽物のデータと本物のデータが与えられ， その真偽を判定 Z (ノイズ) Generator Discriminator 本物 or 偽物 本物の データ 本物の データ 本物の データ 偽物の データ 偽物の データ 偽物の データ
GAN でできること • 教師データからの画像生成 • 高解像度の画像生成 • 画像の翻訳 • 文章からの文字起こし • 動画の翻訳 • 画像のスタイル変換 できないことは少ない
実際には存在しない ベッドルームを生成 Unsupervised Representation Learning with Deep Convolutional Generative Adversarial Networks Alec Radford, Luke Metz, Soumith Chintala (Submitted on 19 Nov 2015 (v1), last revised 7 Jan 2016 (this version, v2))
実際には存在しない顔写真 PHOTOGRAPHS BY CARL BERGSTROM AND JEVIN WEST/UNIVERSITY OF WASHINGTON; PHILIP WANG/THISPERSONDOESNOTEXIST.COM このアルゴリズムには，顔を入れ替えた偽の動画 (Deep Fake) と同等のコードを含む
著作権フリーの生成した顔画像 • GAN による画像生成は， 人物や動物，アニメキャラから賃貸物件まで， あらゆる画像が対処となり試されてきた． • 生成物の著作権については明言されていない場合 が多い． • https://generated.photos/ 著作権フリーの オリジナル顔画像が 10 万枚公開された．
著作権フリーの生成した顔画像 • GAN による生成画像の特徴 • 背景に特有のアーチファクトが発生 • 眼鏡のツルが頓珍漢なデザインになる • 左右対称性が全然無い ⇒ 実際の顔画像の背景などを加工すれば GAN 風
学習データを作成 (GAN) • AI 技術を産業に応用する際の課題 • AI が学習するための教師データの不足 • CT や MRI から AI が病気を Detection しようにも 病気の画像が少なければ充分な学習ができず システムの精度が上がりにくい • 教師データの回転や移動によるデータ量の 水増しではなく GAN で学習データを生成 • 偏りやドメインシフトの影響が大きくなる • GAN をドメイン適応用に開発することで 大規模データ間の違いを修正し， さらに大きなデータベースを開発できる可能性がある
AI の診断を信じられますか？ • 胸部 X 線検査では様々な疾患を指摘することが でき，その中でも肺がんの発見が重要である． • 胸部 X 線検査で肺がんを見逃す可能性は高い． • 胸部 X 線検査の画像はパターンが多く，診断が難しい． • 肺がんは診断後に手術が行われ，病理所見が 得られることから，自動診断の対象となる ことが多く，AI を用いた胸部 X 線検査の 自動診断に関する研究が多く行われてる． • 今現在その精度は医師と同等以上と言われている．
AI の診断を信じられますか？ • AI の基本的な問題点 • AI のモデルを構築した学習データの違いによって性能に違い が出るドメインシフト • ドメインシフトとは？ • 同じ問題を解くために集めたはずのデータの分布領域 (ドメ イン) にズレが生じていることで精度に影響が出る． • 自分で集めたデータでは学習とテストが共にうまくが，同じ 問題用に集めた隣人のデータではうまくいかない現象． • 本来同じ問題と解くために集めたので，汎化性能が高ければ データセットを変更しても制度に影響が出ないはずだが，悪 くなる現象． • 大規模データベース 3 種類を同じモデル・環境で 学習させ，それぞれを別のデータベースで評価し データセットの影響を評価 Eduardo H. P. Pooch∗, Pedro L. Ballester, Rodrigo C. Barros Can we trust deep learning models diagnosis? The impact of domain shift in chest radiograph classification arXiv:1909.01940v1 [eess.IV] 3 Sep 2019
機械学習エンジニア • 何でもかんでも深層学習で解けると思ってる 思い違いをしている人は多い • 深層学習で end-to-end に解ける問題は多くない • 機械学習すら使わなくて解ける問題なら 機械学習は使わない方がいい • まともなエンジニアを雇うと，機械学習を使うはずだった プロジェクトに「機械学習は必要ない」とダメ出しされる • テクノロジーの未来に夢を見ていない老害 • 機械学習と深層学習が流行りすぎて「画像処理 = 深層学習」 • OpenCV で数十行程度で書ける処理でも 深層学習を用いて解決しようとしていることが多く感じる • 学習データが 100 件程度だと精度が低くて使い物にならない • 方法が目的になっている傾向がある
Web Application • Googleは，Web ブラウザで リアルタイムに人間の姿勢推定を 可能にする機械学習モデル「PoseNet」の TensorFlow.js バーションをリリース • PoseNet • 映像中の人物から 1 つまたは複数のポーズを検出 • ToseorFlow.js • Web ブラウザで実行できる オープンソースの機械学習ライブラリ • Google がオープンソースとして公開している 機械学習ライブラリ「TensorFlow」の JavaScript 版
AI と Python の親和性 • 2015 年以降，AI ブームにより Python 関連書籍の売れ行きが好調 • AI 人気が Python 人気に直結しているのは， AI システムを開発するプログラミング言語として Python が最も使いやすい • 今日のシステム開発においてはプログラムは ゼロから書くのではなく，プログラムの共通部品を 集めた Library や特定用途向けの開発基盤である Framework を活用して工数を抑えるのが一般的 • AI 分野の Library や Framework の充実度合いで， Python は他のプログラミング言語を圧倒
Library • 特定の処理を再利用するために 切り出されたプログラムの一部 • 何か処理を行う時に，自分で全ての処理を書かなくても， Library をつかえば (簡単に) 特定の処理を実行可能 • 自分が書けない複雑な処理も Library を活用すれば， 比較的簡単に実装することが可能 • オープンソースソフトウェアとして 配布されているものも多い • ソースコードを改変して自身のプロダクトに 取り込むことが可能 • Library を使うと，機械学習のコアな部分を一から Coding する必要がない
Python の Library 分野 名称 概要 リリース 機械学習 scikit-learn 多くのアルゴリズムに対応した Library 2007 深層学習 TensorFlow Google が開発した Library 2015 PyTorch Facebook が開発した Library 2016 Chainer Preferred Networks が開発した Library 2015 計算 NumPy 行列操作を高速処理する Library 2006 SciPy 統計やフーリエ変換など科学技術計算で よく使われる関数を提供する Library 2001 前処理 pandas 表形式のデータ整形，欠損値の補完と いったデータ分析の処理前に便利な機能 を提供する Library 2011 可視化 matplotlib 2 次元のグラフを描画する Library 2003 Web App Djangi フルスタックの Web App Framework 2005 Flask 軽量な Web App Framework 2010
AI の勘違い (都市伝説) • AI は人間の脳のように機能する • 現在の AI は “弱い AI” ⇒ 決められた単一タスクのみ処理可能 • インテリジェントマシンは自ら学習する • 学習には “問題の設定”と“適切なデータセットの提供” が必要 • AI は 100 ％ 客観的になれる • AI は全てエンジニアによるデータとルールに基づいている • データセットと結果を評価し，潜在的な偏見が生じず 次の学習サイクルに新しい知識と統合できるようする必要がある • AI は定型業務を代替し得る • AI の予測・分類・クラスタ化により的確な判断が可能 • 医療: 放射線科医よりも迅速に病気を発見 • 金融・保険業界: ロボアドバイザが資産管理や詐欺検出に利用 • FAX すらなくならない日本では， 定型業務の全てが AI に置き換わることはない
近年の AI ブーム • 誰もが AI を求めている？ • “AI” ではなく，“AI っぽい何か” を求めている • “休憩するためにカフェに行く” のではなく， “インスタ映えのためにカフェに行く” • 前提が違うと話しが噛み合わない．
AI の相違 Start 1956 年 初めて AI と言う言葉が使われる 1960 年代 「推論と検索の時代」 第一次 AI ブーム 1980 年代 「エキスパートシステム」 第二次 AI ブーム 2011 年頃～ 「深層学習」 第三次 AI ブーム 2045 年頃？シンギュラリティ 汎用人工知能 (AGI) • 人によって指している AI が違う • AI の根本的な問題は AI に帯する認識の不一致
AI の課題 0 5 10 15 20 25 30 35 40 45 十分な量・質を備えたデータの取得 AI の精度が不十分 AI 活用リスクが大きい メンテナンスコストが高い AI 導入の目的が不明確 ベンダーとのコミュニケーションが困難 ベンダーの自社が属する業界への知識不足 従来の手法で ROI や評価基準が設定できず… 契約条件が不適当 AI 人材・知識不足 経営層の納得が得にくい 現場の納得が得にくい 適切なベンダー選定が困難 課題が不明瞭 その他 フェーズごとの課題 企画・立案段階 (n=381) 企画・立案終了~概念実証完了まで (n=381) 概念実証終了~実用化済み (n=381) • 課題が不明瞭 • AI 導入の目的が不明瞭 • 十分な量・質を備えたデータが取得できていない • AI の精度が不十分 • データの取得と課題の選出が問題． • 特に医用データは医療関係者の介在が なければ公開データ以外取得不可能． 引用：「平成30年度成果報告書 産業分野における人工知能及びその内の機械学習の活用状況及び人工知能技術の安全性に関する調査」
機械学習エンジニアの不足 • 経済産業省は機械学習に関わる人材が 2020 年には 4.8 万人不足すると予測 • 2019 年 3 月に政府の AI 戦略が 年間 25 万人を目標に AI 人材を育成 • 教育再生会議が全ての大学生が AI などの基礎的な素養を身につけられるように 標準カリキュラムを作成することを提言 • 高校教育 • AI などを理解するうえで必要な 「確率」「統計」「行列」などを確実に学ぶ • 技術の発展に応じて教育内容を迅速に変えるため， 学習指導要領の一部改訂や教科書の一部訂正といった制度を活用 • 大学教育 • 産業界と協力しながら AI や数理，データサイエンスの分野で 求められる知識や技能を特定し，それを身につけられる 教育プログラムを国が認定する制度の創設 • 履修状況を採用活動やインターンシップなどに活用することを想定
AutoML • 2017 年頃から AutoML が注目を集め出した • ニューラルネットワークが ニューラルネットワークを作り上げる • 2018 年初頭，Google が画像分類の Cloud AutoML をアル ファ版公開 • Cloud AutoML は機械学習の専門家でなくても高品質な 画像分類モデルを生成できるというもの • その背景にある理論が Neural Architecture Search (NAS) • NAS が従来のニューラルネットワーク設計と違うのは， NAS はニューラルネットワークのアーキテクチャ自体を 最適化するということ
AutoML • 機械学習の専門知識がなくても， 最小限の労力で，高品質のカスタム機械学習 モデルをトレーニングできるサービス • Google: AutoML Vision • データセットを用意すれば学習済みモデルの 作成が依頼でき，完成したモデルを購入できる 画像分類 無料 有料 訓練 毎月最初のモデル 10 個に ついては，アカウントごとに 1 ノード時間まで無料 以後のトレーニング時間については， 1 時間あたり USD $20.00 予測 1,000 枚までの画像は無料 画像の数が 1,001～5,000,000 枚の場合， 画像 1,000 枚あたり $3
医療系 DL，AI をしたい方へ • Neural Network Console (ソニー株式会社) • Azure Machine Learning Studio (Microsoft) • MatrixFlow (株式会社 MatrixFlow) • Cloud AutoML (Google) • Coding の必要がなく GUI でモデルの構築が可能． • 環境構築が不要または簡単に完了． • Coding についての学習を省くことができるので， DL の基礎となる数学や統計を学べる． • 医用画像に対する AI の運用は，教師データの作成に 医用情報が必要となるため，Medical が介入する必要がある (特に Classification，Detection，Segmentation)． • データクリーニングに多くの時間を費やす必要がある． • 研究 < 臨床 となっており，目新しさよりも安定を求める傾向． • 医療系 AI を医療人が行うことに一定の需要はある．
最後に • 機械学習の概念 • 歴代の人工知能ブーム • 医用画像領域への深層学習の適用

More Related Content

PPTX
人工知能を用いた医用画像処理技術
byYutaka KATAYAMA
 
PPTX
病院で働く技師による深層学習を用いた研究
byYutaka KATAYAMA
 
PPTX
探求の道 Lead Clearly
byYutaka KATAYAMA
 
PPTX
研究活動を通じた科研費取得の 1 モデル
byYutaka KATAYAMA
 
PDF
Depth Prediction Without the Sensors: Leveraging Structure for Unsupervised L...
byharmonylab
 
PDF
顔画像情報を利用した運動識別システム
bysugiuralab
 
PDF
CVPR2016 reading - 特徴量学習とクロスモーダル転移について
byAkisato Kimura
 
PPTX
Reserch report 2
by俊 中村
 
人工知能を用いた医用画像処理技術
byYutaka KATAYAMA
 
病院で働く技師による深層学習を用いた研究
byYutaka KATAYAMA
 
探求の道 Lead Clearly
byYutaka KATAYAMA
 
研究活動を通じた科研費取得の 1 モデル
byYutaka KATAYAMA
 
Depth Prediction Without the Sensors: Leveraging Structure for Unsupervised L...
byharmonylab
 
顔画像情報を利用した運動識別システム
bysugiuralab
 
CVPR2016 reading - 特徴量学習とクロスモーダル転移について
byAkisato Kimura
 
Reserch report 2
by俊 中村
 

What's hot

PPTX
勉強会用スライド
byharmonylab
 
PDF
DeepLearningDay2016Spring
byTakayoshi Yamashita
 
PPTX
Ai勉強会20170127
byharmonylab
 
PDF
データサイエンス概論第一=8 パターン認識と深層学習
bySeiichi Uchida
 
PDF
論文輪読資料「FaceNet: A Unified Embedding for Face Recognition and Clustering」
byKaoru Nasuno
 
PPTX
【2015年度関西支部大会】照明装置の順点灯制御と照度‐距離モデルに基づく屋内位置推定手法をとその評価（守谷）
bykazuki-mo
 
PPTX
[DLゼミ] Learning agile and dynamic motor skills for legged robots
byharmonylab
 
PDF
次世代セキュリティを牽引する画像解析技術の最新動向 - 距離情報を用いた物体認識技術 -
byHironobu Fujiyoshi
 
PDF
[2016-12-01] DDBJデータ解析チャレンジ報告：機械学習コンペティションのタスク設計とルール設定
byEli Kaminuma
 
PPTX
研究室説明@オリエンテーション2015
byUbi NAIST
 
PDF
[DL輪読会]Measuring abstract reasoning in neural networks
byDeep Learning JP
 
PDF
論文輪読資料「Multi-view Face Detection Using Deep Convolutional Neural Networks」
byKaoru Nasuno
 
勉強会用スライド
byharmonylab
 
DeepLearningDay2016Spring
byTakayoshi Yamashita
 
Ai勉強会20170127
byharmonylab
 
データサイエンス概論第一=8 パターン認識と深層学習
bySeiichi Uchida
 
論文輪読資料「FaceNet: A Unified Embedding for Face Recognition and Clustering」
byKaoru Nasuno
 
【2015年度関西支部大会】照明装置の順点灯制御と照度‐距離モデルに基づく屋内位置推定手法をとその評価（守谷）
bykazuki-mo
 
[DLゼミ] Learning agile and dynamic motor skills for legged robots
byharmonylab
 
次世代セキュリティを牽引する画像解析技術の最新動向 - 距離情報を用いた物体認識技術 -
byHironobu Fujiyoshi
 
[2016-12-01] DDBJデータ解析チャレンジ報告：機械学習コンペティションのタスク設計とルール設定
byEli Kaminuma
 
研究室説明@オリエンテーション2015
byUbi NAIST
 
[DL輪読会]Measuring abstract reasoning in neural networks
byDeep Learning JP
 
論文輪読資料「Multi-view Face Detection Using Deep Convolutional Neural Networks」
byKaoru Nasuno
 

Similar to 令和元年度 実践セミナー - Deep Learning 概論 -

PDF
Deep learningの概要とドメインモデルの変遷
byTaiga Nomi
 
PDF
深層学習入門
byDanushka Bollegala
 
PPT
Deep Learningの技術と未来
bySeiya Tokui
 
PPTX
深層学習の数理：カーネル法, スパース推定との接点
byTaiji Suzuki
 
PDF
20150930
bynlab_utokyo
 
PPTX
Image net classification　with Deep Convolutional Neural Networks
byShingo Horiuchi
 
PDF
Deep learning入門
bymagoroku Yamamoto
 
PPTX
深層学習の数理
byTaiji Suzuki
 
PDF
20160329.dnn講演
byHayaru SHOUNO
 
PDF
20150414seminar
bynlab_utokyo
 
PDF
人工知能技術を用いた各医学画像処理の基礎 (2022/09/09)
byYutaka KATAYAMA
 
PDF
Tutorial-DeepLearning-PCSJ-IMPS2016
byTakayoshi Yamashita
 
PDF
Deep Learningと画像認識 　 ～歴史・理論・実践～
bynlab_utokyo
 
PDF
Deep Learningによる画像認識革命　ー歴史・最新理論から実践応用までー
bynlab_utokyo
 
PPTX
MIRU2014 tutorial deeplearning
byTakayoshi Yamashita
 
PDF
20140726.西野研セミナー
byHayaru SHOUNO
 
PPTX
「機械学習とは？」から始める Deep learning実践入門
byHideto Masuoka
 
PPTX
2017-05-30_deepleaning-and-chainer
byKeisuke Umezawa
 
PPTX
Cvim saisentan-6-4-tomoaki
bytomoaki0705
 
PPTX
tfug-kagoshima
bytak9029
 
Deep learningの概要とドメインモデルの変遷
byTaiga Nomi
 
深層学習入門
byDanushka Bollegala
 
Deep Learningの技術と未来
bySeiya Tokui
 
深層学習の数理：カーネル法, スパース推定との接点
byTaiji Suzuki
 
20150930
bynlab_utokyo
 
Image net classification　with Deep Convolutional Neural Networks
byShingo Horiuchi
 
Deep learning入門
bymagoroku Yamamoto
 
深層学習の数理
byTaiji Suzuki
 
20160329.dnn講演
byHayaru SHOUNO
 
20150414seminar
bynlab_utokyo
 
人工知能技術を用いた各医学画像処理の基礎 (2022/09/09)
byYutaka KATAYAMA
 
Tutorial-DeepLearning-PCSJ-IMPS2016
byTakayoshi Yamashita
 
Deep Learningと画像認識 　 ～歴史・理論・実践～
bynlab_utokyo
 
Deep Learningによる画像認識革命　ー歴史・最新理論から実践応用までー
bynlab_utokyo
 
MIRU2014 tutorial deeplearning
byTakayoshi Yamashita
 
20140726.西野研セミナー
byHayaru SHOUNO
 
「機械学習とは？」から始める Deep learning実践入門
byHideto Masuoka
 
2017-05-30_deepleaning-and-chainer
byKeisuke Umezawa
 
Cvim saisentan-6-4-tomoaki
bytomoaki0705
 
tfug-kagoshima
bytak9029
 

令和元年度 実践セミナー - Deep Learning 概論 -

  • 1.
    令和元年度 実践セミナー - Deep Learning概論 - 大阪市立大学医学部附属病院 片山 豊
  • 2.
    engineer・技師としての自己紹 介 …………………………………… 開 発業 …………………………………… • 1998 年 : オートバイ用マフラーの開発・製造 • CAD/CAM を用いたマシニング • オンラインショッピングシステム (cgi，JavaScript) の構築 …………………………………… 放射線技師 …………………………………… • 2003 年: 大阪大学医学部附属病院 (Intern) • 2004 年: 市立泉佐野りんくう総合医療センター (非常勤) • 2006 年: 北摂総合病院 • 2007 年: 大阪市立大学医学部附属病院 • 2018 年: 人工知能研究会 (大阪市立大学放射線診断学・IVR 学) に Join ………………………………… 主な研究内容 ………………………………………………………………………………………………… • EGS4 を用いて低エネルギー領域の視野外 X 線のモンテカルロシミュレーション • Bilateral Filter を用いた核医学画像の画質改善1 • Super-Resolution による放射線画像の高解像度化2 • Compressed Sensing を用いた CT の被曝低減処理 • 深層学習を用いた Detection/Classification • 敵対的生成ネットワーク Generative Adversarial Networks (GAN) を用いた放射線画像の生成 1) 片山 豊, 上田健太郎, 日浦慎作, 他. 骨シンチグラフィへのバイラテラルフィルタの適用. 日本放射線技術学会雑誌, 2013, 69.12: 1363-1371. 2) 片山 豊, 上田 健太郎, 日浦 慎作, 他. PET 画像に対する超解像を用いたデノイズ手法の適用. 日本放射線技術学会雑誌, 2018, 74.7: 653-660.
  • 3.
    巷でよく言われる深層学習 • yes/no の分類 •a, b, c, … の分類 ⇒ 分類のためのモデル構築 • スパム分類 • ヒト・イヌ・ネコと言ったカテゴリへの画像分類 • AI に職が奪われる • FAX すらなくならない 日本ではきっと起こらない
  • 4.
  • 5.
  • 6.
    経済的機会のある Technology 2018 2019 1IoT IoT 2 自動化 AI 3 AI 5G 4 VR/AR サーバーレスコンピューティング 5 5G ブロックチェーン 6 3D プリンタ ロボティクス 7 ドローン バイオメトリクス 8 バイオメトリクス 3D プリンタ 9 ブロックチェーン VR/AR 10 量子コンピューティング ドローン 短期的にビジネスチャンスがあるとされる新興テクノロジーのトップ10リスト グローバルな IT 業界団体 CompTIA の Emerging Technology Community 調べ
  • 7.
    人工知能 ≒ 深層学習？ •AI ⊃ ML ⊃ NN ⊃ DL 人工知能 (artificial intelligence: AI) 機械学習 (machine learning: ML) Neural Network (NN) 深層学習 (deep learning: DL)
  • 8.
    人工知能 (artificial intelligence:AI) • AI ⊃ ML ⊃ NN ⊃ DL 人工知能 (artificial intelligence: AI) 機械学習 (machine learning: ML) Neural Network (NN) 深層学習 (deep learning: DL)
  • 9.
    Artificial Intelligence (AI) •人工知能とは， [機械によって再現される人の知性] と定義 • 人が行っているタスクをコンピュータに担わせる • 現在主流の AI は弱い AI (特化型人工知能: Narrow AI) • [人より巧みに行える物事が 予め定義された一つ (複数個) に限定] • 機械学習はナロー AI の一つ K.I.T.T.@ナイトライダー ドラえもん 則巻アラレ Siri@iPhone＆MacOS (自然言語処理)
  • 10.
    Autopsy imaging (Ai) •狭義: 死亡時画像診断 広義: 死亡時画像病理診断 • 「Autopsy＝検死」 「imaging＝画像診断」に由来する造語 • 画像診断によって死因を検証 • 略語として「Ai」と称される
  • 11.
  • 12.
    現在の AI (=弱い AI) • 特定分野の人間の知識を整理し，データとして 蓄積しておき，問い合わせに対してその意味を 理解しながら，蓄積したデータを用いて推論， 判断するエキスパートシステムなど (ASCII.jpデジタル用語辞典) • 膨大な計算を膨大なエネルギーを使って 膨大な半導体を動作させて 解答または選択肢を絞り込む • 非常に強引なやり方 ⇒ 数を打てば当たるの総当たり戦略 入力に対して適切な出力を出すシステム
  • 13.
    AI でわかること • AIというのは，大規模のデータを統計的な アルゴリズムを使い予測に役立てる技術の総称 • 大量のデータに対して，統計的に分析を行い， 対象となる物事をコンピュータが自動的に分析／予測 • 「統計的な分析」であり事物を理解するわけではない • データで表現されている数値の推移の予測や 文字列または画像の分類 • AI で判明するのは「相関」であり「因果」ではない • 「相関」ということは，複数の変数に関わりがあることは 示せるが，本当に関係しているかどうかは不明 意味を見いだして「因果」を証明するのは，人間の仕事
  • 14.
    AI の弱点 • 色が似ているため砂漠を裸の人と認識 ⇒AI から見た砂漠の画像は Pornographie • 区別するには「裸でいる状況」を 理解する必要があり非常に難しい課題
  • 15.
    AI 俳句協会 (https://aihaiku.org/) •AI が最も不得意とされている「感性」や「独創 性」の結実した『俳句づくり』に挑戦し，AI 文書 作成の先進的技術開発に貢献することを目的
  • 16.
    歴史 引用: NVIDIA ブログ人工知能、機械学習、ディープラーニングの違いとは https://blogs.nvidia.co.jp/2016/08/09/ whats-difference-artificial-intelligence-machine-learning-deep-learning-ai/
  • 17.
    歴史 引用: 総務省 HP第 1 部 特集 IoT・ビッグデータ・AI ～ネットワークとデータが創造する新たな価値～ http://www.soumu.go.jp/johotsusintokei/whitepaper/ja/h28/html/nc142120.html 大型コンピュータからパーソナルコンピュータを経て， スマートフォンの普及によりデータ流通量の爆発的増加． ⇒ビッグデータ時代の到来 白いタピオカが入った ココナッツミルク (1992 年) 黒いタピオカが入った ココナッツミルク (2008 年) 黒いタピオカドリンク (2018 年)
  • 18.
    特許 AI 関連発明の国内出願件数の推移 2019年7月 特許庁審査第四部 審査調査室 G06N: 特定の計算モデルに基づくコンピュータ・システム
  • 19.
    イギリスの新しい 50 ポンド紙幣 •2021 年末までに流通が開始されるイギリスの 新しい 50 ポンド紙幣の肖像に，コンピュー ター科学の先駆者で暗号解読者のアラン・ チューリング (1912 ～1954 年) が採用
  • 20.
    機械学習 (machine learning:ML) • AI ⊃ ML ⊃ NN ⊃ DL 人工知能 (artificial intelligence: AI) 機械学習 (machine learning: ML) Neural Network (NN) 深層学習 (deep learning: DL)
  • 21.
    機械学習とは… • 機械学習は， [物事を本質的に予測する] ためのもの． •既知のデータからパターンを学習することで， 未知のデータに遭遇した際も学習した パターンを元に分類することが可能 • 機械学習の優れている点は，(人の手が介在することなく) 一度学習したデータから再び学習可能 教師あり学習 教師なし学習 強化学習 機械学習
  • 22.
  • 23.
  • 24.
    教師あり学習 ⇒ 要教師データ (SupervisedTraining) • ラベリング済みのデータが与えられる学習方法 • “果物” について “色・重さ・種類” という要素 を学習することで，新しい情報が入力された際 に予測 • 初期はこの分野の開発が最も発達 バナナ リンゴ ブドウ 訓練データ 未知の画像 機械学習アルゴリズム 画像はブドウ
  • 25.
    教師なし学習 ⇒ 自習 (UnsupervisedTraining) • 出力データが学習時に与えられない学習方法 • 正解となる出力を与えず入力データから 規則性を発見していくのが特徴 • ラベリングされていないデータセットをもとに 機械が自ら学習を行うという仕組 購買データ 機械学習アルゴリズム • レコメンデーション • グルーピング • 売上予測
  • 26.
  • 27.
  • 28.
    強化学習 ⇒ RIZAP (ReinforcementLearning) • 実行と失敗を繰り返す中で， 徐々に正しい方向を見いだすという学習方法 • Computer に単純なゲームをルールを教えずに実行 • 偶然に良い結果を出した時には報酬を与える • 悪い結果の時には報酬なし or 罰を与える • 報酬を最大限にすることを目標をするよう設定し ゲームを複数回実行 • 最終的には最も効率よく正答にたどり着く方法にたどり着く (ex: alphaGo)
  • 29.
    転移学習 (Transfer Learning) •ある領域で学習させたモデルを 別の領域に適応させる技術 • 広くデータが手に入る領域で学習させたモデルを 少ないデータしかない領域に適応させたり， シミュレータ環境で学習させたモデルを 現実に適応させたりする技術 • 学習データが増えた際にも追加で学習を行える • 近年目覚ましい発達を遂げている
  • 30.
    Neural Network (NN) •AI ⊃ ML ⊃ NN ⊃ DL 人工知能 (artificial intelligence: AI) 機械学習 (machine learning: ML) Neural Network (NN) 深層学習 (deep learning: DL)
  • 31.
    ニューラルネットワーク • 脳神経を模範した数学モデル • Network形成する多数の人工ニューロンの シナプス結合強度を変化させて 問題解決能力を獲得 神経細胞 (Wikipedia) 樹状突起 核 細胞体 ミエリン鞘 ランヴィエ絞輪 シュワン細胞 軸索末端 入力 出力 ニューロンモデル 閾値 入力 1 入力 2 出力 結合荷重
  • 32.
    第一世代 単純パーセプトロン • 2入力のパーセプトロンは 2 つの入力を受け取り1 つの信号を出力する関数 W1 W2 • 一次不定方程式 • 非線形な識別は原理的に不可能 • 出力は 0 か 1 のどちらか • 入力に重みを掛け合わせた 値の和に対して bias (b) を 加えたものに応じて “0” か “1” を出力 b x1 y x2 1
  • 33.
    連立方程式 • 2 点(P，Q) を 通る一次関数について， a，b の値を求める． P Q
  • 34.
    連立方程式 • 2 点(P，Q) を 通る一次関数について， a，b の値を求める． P Q
  • 35.
  • 36.
    分類問題の基本 - NN 特徴抽出可能特徴抽出不可能 • 1 次関数として (最小単位) の NN → 直線的に分類できる簡単な特徴抽出に有効
  • 37.
    第二世代 多層パーセプトロン • 多数の単純パーセプトロンを階層的に組み合わせる •十分な数のニューロンが隠れ層にあれば 任意の非線形関数は 3 層のネットワークで近似可能 • パラメータの最適化は NP 困難 • 誤差逆伝搬法で局所解へ収束 Inputs Outputs
  • 38.
    第二世代 多層パーセプトロン • 4層以上の誤差逆伝搬法は成功しない • 一般に層が深くなるほど 誤差逆伝搬法が下層まで届かなくなる • 学習の精度が下っていくので層を増やしすぎない 適切な仕組みが必要 • 過学習が多い (訓練データにのみに適応される現象) Inputs Outputs
  • 39.
    深層学習 (deep learning:DL) • AI ⊃ ML ⊃ NN ⊃ DL 人工知能 (artificial intelligence: AI) 機械学習 (machine learning: ML) Neural Network (NN) 深層学習 (deep learning: DL)
  • 40.
    第三世代 深層学習 • 多層(4 層以上) の NN (deep neural network: DNN) による機械学習手法 • ありとあらゆる特徴を抽出可能 • 畳み込み層より特徴量を抽出 • 半自動で特徴量抽出が可能 深層学習 人工知能学会 深層学習手法の全体像 xiv 2 層: パーセプトロン 3 層: 階層型ニューラルネット
  • 41.
    第三世代 深層学習 Inputs Outputs Input LayerHidden Layer Output Layer Deep Learning は中間層を多層にすることで情報伝達と処理を増やし出力層が深い位置にある Neural Network に比べて特徴量の精度や汎用性をあげたり，予測精度を向上させることが可能
  • 42.
    深層学習のインパクト • 2012 年には物体の認識率を競うLarge Scale Visual Recognition Challenge (ILSVRC*) で Geoffrey Everest Hinton 率いるトロント大学のチームが深層学習に よって圧勝 (画像識別制度75 % → 96 %)． • コンマ何 % の精度を競い，人力での細かい調整の 勝負となると思われていたが，Task1 と Task2 で 2 位以下を 10% 以上引き離して勝利． * ILSVRCは2010年から始まった大規模画像認識の競技会
  • 43.
    多層化 (4 層以上)による問題 • 勾配消失 (NN の問題点) • Backpropagation を行い 複数の層を伝播していく過程で誤差情報が消失 • 活性化関数 (rectified linear unit: ReLU) の使用 • 自己符号化器による事前学習で初期値設定 • 過学習 (過適合) • 多層化によって複雑な事象をモデル化できるが 学習データにあまりに適合しすぎて 学習データ以外では正解率が低くなる現象 • 学習データだけに最適化されて汎用性がない状態 • アルゴリズムの改良とデータ量の増大 • 増大したデータを処理できるコンピュータの爆発的な性能向上
  • 44.
    過学習 (過適合) • 精度が高いDL • 学習データが少ないと過学習となり精度 100% • 交差検証ができない • 過学習 (過適合) を防ぐために正則化が必要 • 医療系 AI にありがちな精度が高すぎる研究は データセットを再確認！
  • 45.
    連立方程式 • 4 点(P，Q，R，S) を 通る一次関数について， a，b の値を求める． • 未知数が 2 個 (a，b) ， 点 (方程式)が 4 本なので 解けない． • なるべく，4 点の近くを 通る線を求める． P Q R S
  • 46.
    連立方程式 • 4 点(P，Q，R，S) を 通る一次関数について， a，b の値を求める． • 未知数が 2 個 (a，b) ， 点 (方程式)が 4 本なので 解けない． • なるべく，4 点の近くを 通る線を求める． P Q R S
  • 47.
    連立方程式 • 出力 (y)と入力 (x) の関係を学習 ⇒ 複数あるデータ (x) を 入力して出力 (y) と 近くなるように学習 • aN: 学習の重み P Q R S
  • 48.
    連立方程式 • 出力 (y)と入力 (x) の関係を学習 ⇒ 複数あるデータ (x) を 入力して出力 (y) と 近くなるように学習 • aN: 学習の重み P Q R S
  • 49.
    分類問題の基本 - DL 特徴抽出可能特徴抽出可能 3 層以上の NN (DL) は可微分で連続な任意関数を近似できる
  • 50.
  • 51.
    • 多層ニューラルネットワーク • 入力ベクトルを変換する関数のモデル •層の数だけベクトル変換を繰り返す 深層学習システムの中身 Inputs Outputs Input Layer Hidden Layer Output Layer
  • 52.
    深層学習システムの傾向 • 層を増やして巨大化 • 層の数が多い⇒ パラメータが増加 • 膨大なパラメータ ⇒ 膨大なデータから学習 AlexNet (2012) VGG19 Net (2014) AlexNet VGG19 Net 層の数 8 19 パラメータ 60,000,000 100,000,000
  • 53.
    シンギュラリティ (技術的特異点) • AIが発達することにより人間の知性を超え， 社会が急速に変化することを示す言葉 • 2005 年にレイ・カーツワイル博士が自らの著書のなかで 「2045年までには人間と AI の能力が逆転する」と提唱 • “ムーアの法則” と “収穫加速の法則” が 2045 年問題の根拠 • ムーアの法則 「集積回路の複雑さが毎年 2 倍になる」という法則 1965年に米インテル社の共同創業者であるゴード・ムーアが提唱 • 収穫加速の法則 ムーアの法則を拡張したもので， コンピュータの計算能力が加速度的に向上していることを示す • コンピュータの性能は 2045 年に技術的特異点に到達すると予測 • 人間のような知性をもった「強い AI」が登場？
  • 54.
  • 55.
  • 56.
    データセットの作成 • Detection (Classification・Segmentation)をするには… • 教師データに疾患のある画像が必要 (正常例は不要) • 画像に対応した病理検査の結果があればベスト！ • データ数は多ければ多いほど良い (正しいデータ)． • 病変の範囲 (形状) に関心領域を設定する必要があるため， 関心領域を設定できるソフトに入力できる形式に変換． • 対応する病理データを含むため， データの取扱には要注意！ • 確実に匿名化を行い，管理を行う必要がある．
  • 57.
    画像認識の学習器作成 • 実際にビジネスに AIを導入するには… • 学習済みモデルを使用: 推論の処理のみなので大規模な計算資源は不要 • 学習モデルの作成: ⇒ 大量のデータだけではなく， 膨大な量のデータを処理するための時間や電力， GPU のように大量のデータを処理出来る機器が必要 • DL の特徴として，正しい生データの量が多ければ多いほど精度上昇 ⇒ 大量のデータさえあれば DL で従来の ML では扱えなかった 複雑なデータでも処理を行うことが可能になったが， 識別結果の調整が難しくテストデータが少ないと性能が出せない 学習用データ セット作成 学習済み モデル 未知の画像 ? 学習済み モデル 画像認識 ex: Dog or Cat 学習処理 推論処理 Dog Cat モデル 学習 特徴量 抽出
  • 58.
    乳がん • 乳がんの発症を高い精度で予測できる AI モデルをMIT が開発 • 2009 年 1 月 1 日から 2012 年 12 月 31 日までの 39,571 人 88,994 件のマンモグラフィを使用 • 人の目では認識できない微細なパターンも 特定できるように訓練 • 人種に関わらず高精度 Above: MIT/MGH AI model identified woman at high risk 4 years (left) before her breast cancer (right):.Image Credit: MIT CSAIL
  • 59.
    肺がん A promising stepforward for predicting lung cancer https://www.blog.google/technology/health/lung-cancer-prediction/ End-to-end lung cancer screening with three-dimensional deep learning on low-dose chest computed tomography Nature Medicine (2019) • 肺がんの発症を高い精度で予測できる AI モデルを Google が開発 • 匿名化された 45,856 件の胸部 CT スクリーニング 検査でがんが発見された症例 • Google の AI モデルは医師チームよりも がんのケースを 5 ％多く検知でき， 誤診率は 11 ％低かった
  • 60.
    世界最大のデータセット • Google は2016 年に機械学習のためのデーセット 「Open Images」を初めてリリース． • 2019 年 5 月 8 日に Open Images Dataset V5 を公開． • Open Images Dataset V5 は 350 カテゴリにわたる 280 万個のセグメンテーションマスクが用意されている． Google AI Blog: Announcing Open Images V5 and the ICCV 2019 Open Images Challenge https://ai.googleblog.com/2019/05/announcing-open-images-v5-and-iccv-2019.html
  • 61.
    標準ディジタル画像 データベース［胸部腫瘤陰影像］ • JSRT が公開している“標準ディジタル画像 データベース［胸部腫瘤陰影像］” が必須 http://imgcom.jsrt.or.jp/download/ http://imgcom.jsrt.or.jp/minijsrtdb/
  • 62.
    眼底画像のデータセット • 三栄会ツカザキ病院 (姫路市)は2019 年 7 月 25 日 眼底画像のデータセット約 13,000 枚を公開 • 研究や教育目的なら無料で利用可能
  • 63.
    データセットの利用 • 自施設でデータセットを作成するには， 大量の答え付きのデータセットが必要だが， 公開されているデータセットを利用するので あれば，アルゴリズムの開発のみで良い． • 肺がん，乳がんのデータセット(研究) が多い理由は， 画像データと病理データが紐付いて存在しているため． • 疾患に対するデータセットの多くは 所見が間違えていることがある． • 公開データを用いる場合はそこもチェックが必要．
  • 64.
    データセットの作成 • 工学系の人は， 公開されている患者情報 (カルテ情報)しか 入手できずデータセットの作成ができない． • 患者情報にアクセスできるのが医療職の アドバンテージ (倫理委員会の許可が必須) • 深層学習を用いた研究は工学系では安定期 • 深層学習を用いた研究は医療領域では臨床適用期 • 医療画像による病変検出は医師の代替でしかなく， AI でないとできないことがない． • 臨床としては意味があるが， テクノロジーとしては面白さがない．
  • 65.
    データセットの要件 • AI 技術によって業務プロセスを自動化するに は，膨大な量の学習用データが必要だと考えが 主流(だった) • 正しくない学習用データによる誤った判断につなが る不適切なバイアスが問題 • 学習用データの質が重視される • 機械学習をベースにした AI システムから有益 な結果を得るためには，質の高い学習用データ の用意が必要
  • 66.
    scikit-learn algorithms cheat-sheet Scikit-Learn:Pythonのオープンソース機械学習ライブラリ 分類 回帰 クラスタリング 次元削除頑張って！ サンプル数が 50 以上あるか サンプル数が 10 万件以下か サンプル数が 10 万件以下か サンプル数が 1 万件以下か サンプル数が 1 万件以下か
  • 67.
    法律の解釈 • 平成 30年 12 月 19 日 厚生労働省医政局医事課長通知文書 • 「人工知能 (AI) を用いた診断、 治療等の支援を行うプログラムの利用と 医師法第 17 条の規定との関係について」 • AI を用いた診断・治療支援を行うプログラムを利用 して 診療を行う場合についても、診断、治療等を行う主体は 医師であり、医師はその最終的な判断の責任を負う こととなり、当該診療は医師法 第 17 条の医業として 行われるものであるので、十分ご留意をいただ きたい。「診断責任は医師」 ⇒ こう定義されたので医療 AI は動き出した
  • 68.
    AI 搭載医療機器の 承認審査短縮へ法改正 • 動脈瘤の検出など，医療分野ではAI を活用し た様々な取り組みがなされている • 新しく取得したデータを再学習させると性能が 向上するという AI の特性上，性能が変われば 頻繁に審査を受ける必要がある • 法改正により，再学習で性能が向上した場合の 承認審査期間が短縮がされる見通し
  • 69.
    時流 - AIWinter is well on its way • 米の AI 研究者の Filip Piekniewski 氏が，自身の Blog で「AI 冬の時代がやってくる」と主張 https://blog.piekniewski.info/2018/05/28/ai-winter-is-well-on-its-way/
  • 70.
    時流 - AIWinter is well on its way ① Deep Learning の研究者たちの (ネット上での) 発言が少なくなった ② Deep Learning はスケールしていない ③ 自動走行技術は，まだまだ不完全 • 2012 年に AlexNet という DL のモデルが 世界中の AI 研究者に衝撃を与えた • AlexNet のパラメータ数は 6000 万程度 • 最近のモデルのパラメータ数は AlexNet の 1000 倍以上 • 性能が 1000 倍以下 • 一部の研究者が主張するほど，DL が 指数関数的な進化を遂げていない
  • 71.
    時流 - ThomasNield の主張 • AI の歴史 • 推論や検索に基づいた第 1 次 AI ブーム • エキスパートシステムの開発が流行した第 2 次 AI ブーム • これらのブームが終息した原因 • AI に対する過度な期待とその期待に便乗した AI の誇張 • AI で実現可能なことを実際より大きく見せることで期待を煽るが， その期待に応えられない度にブームが終息 • 現在の AI ブームに煽動と誇張を見る同氏は， この流行は2019年から2020年にかけて終息すると主張． • ディープラーニングの流行がもたらした第 3 次 AI ブーム • ディープラーニングの進化を加速するはずの学習データが 不足していること，さらにはディープラーニングをもってしても 計算複雑性理論から見て解決困難な問題は依然として解決が難しい • AI を正しく活用するためにはディープラーニングの効用を妄信せず， 個々の問題にあった AI 技法を適用する Thomas Nield アメリカ大手航空会社サウスウエスト航空のビジネスコンサルタントを務めているとともに， SQL や RxJava に関する入門書をオライリーから出版． 同氏が長文英文記事メディア Medium に投稿した記事の要約．
  • 72.
    時流 - 敵対的生成ネットワーク •2018 年頃は，AI バブルの様相を呈していた． • 機械学習と呼んでいたものが，AI と名称変更する だけで新規性に富んだテーマとして扱われる． • AI を実現できるソフトウェアが開発され， モデルの構築が簡便に実現可能な プラットフォームが完成． ⇒ AI は安定期 (一般化) に突入． • 敵対的生成ネットワーク (Generative adversarial networks: GANs) を用いた研究が盛んになり， 新たな時流が生じた．
  • 73.
    時流 - 敵対的生成ネットワーク •2014 年にイアン・グッドフェローらによって 発表された教師なし学習で使用される人工知能 アルゴリズムの一種 • ゼロサムゲームフレームワークで 互いに競合する2つのニューラルネットワークの システムによって実装
  • 74.
    GAN の仕組み • 二つのAI が違う役割を持って， 切磋琢磨することによって，似ているデータを作成 • Generator (生成者) 生成データの特徴の種に相当するノイズを入力することで， このノイズを所望のデータに近づけるようにマッピングする． ⇒ データ生成 • Discriminator (識別者) Generator が生成した偽物のデータと本物のデータが与えられ， その真偽を判定 Z (ノイズ) Generator Discriminator 本物 or 偽物 本物の データ 本物の データ 本物の データ 偽物の データ 偽物の データ 偽物の データ
  • 75.
    GAN でできること • 教師データからの画像生成 •高解像度の画像生成 • 画像の翻訳 • 文章からの文字起こし • 動画の翻訳 • 画像のスタイル変換 できないことは少ない
  • 76.
    実際には存在しない ベッドルームを生成 Unsupervised Representation Learningwith Deep Convolutional Generative Adversarial Networks Alec Radford, Luke Metz, Soumith Chintala (Submitted on 19 Nov 2015 (v1), last revised 7 Jan 2016 (this version, v2))
  • 77.
    実際には存在しない顔写真 PHOTOGRAPHS BY CARLBERGSTROM AND JEVIN WEST/UNIVERSITY OF WASHINGTON; PHILIP WANG/THISPERSONDOESNOTEXIST.COM このアルゴリズムには，顔を入れ替えた偽の動画 (Deep Fake) と同等のコードを含む
  • 78.
    著作権フリーの生成した顔画像 • GAN による画像生成は， 人物や動物，アニメキャラから賃貸物件まで， あらゆる画像が対処となり試されてきた． •生成物の著作権については明言されていない場合 が多い． • https://generated.photos/ 著作権フリーの オリジナル顔画像が 10 万枚公開された．
  • 79.
    著作権フリーの生成した顔画像 • GAN による生成画像の特徴 •背景に特有のアーチファクトが発生 • 眼鏡のツルが頓珍漢なデザインになる • 左右対称性が全然無い ⇒ 実際の顔画像の背景などを加工すれば GAN 風
  • 80.
    学習データを作成 (GAN) • AI技術を産業に応用する際の課題 • AI が学習するための教師データの不足 • CT や MRI から AI が病気を Detection しようにも 病気の画像が少なければ充分な学習ができず システムの精度が上がりにくい • 教師データの回転や移動によるデータ量の 水増しではなく GAN で学習データを生成 • 偏りやドメインシフトの影響が大きくなる • GAN をドメイン適応用に開発することで 大規模データ間の違いを修正し， さらに大きなデータベースを開発できる可能性がある
  • 81.
    AI の診断を信じられますか？ • 胸部X 線検査では様々な疾患を指摘することが でき，その中でも肺がんの発見が重要である． • 胸部 X 線検査で肺がんを見逃す可能性は高い． • 胸部 X 線検査の画像はパターンが多く，診断が難しい． • 肺がんは診断後に手術が行われ，病理所見が 得られることから，自動診断の対象となる ことが多く，AI を用いた胸部 X 線検査の 自動診断に関する研究が多く行われてる． • 今現在その精度は医師と同等以上と言われている．
  • 82.
    AI の診断を信じられますか？ • AIの基本的な問題点 • AI のモデルを構築した学習データの違いによって性能に違い が出るドメインシフト • ドメインシフトとは？ • 同じ問題を解くために集めたはずのデータの分布領域 (ドメ イン) にズレが生じていることで精度に影響が出る． • 自分で集めたデータでは学習とテストが共にうまくが，同じ 問題用に集めた隣人のデータではうまくいかない現象． • 本来同じ問題と解くために集めたので，汎化性能が高ければ データセットを変更しても制度に影響が出ないはずだが，悪 くなる現象． • 大規模データベース 3 種類を同じモデル・環境で 学習させ，それぞれを別のデータベースで評価し データセットの影響を評価 Eduardo H. P. Pooch∗, Pedro L. Ballester, Rodrigo C. Barros Can we trust deep learning models diagnosis? The impact of domain shift in chest radiograph classification arXiv:1909.01940v1 [eess.IV] 3 Sep 2019
  • 83.
    機械学習エンジニア • 何でもかんでも深層学習で解けると思ってる 思い違いをしている人は多い • 深層学習でend-to-end に解ける問題は多くない • 機械学習すら使わなくて解ける問題なら 機械学習は使わない方がいい • まともなエンジニアを雇うと，機械学習を使うはずだった プロジェクトに「機械学習は必要ない」とダメ出しされる • テクノロジーの未来に夢を見ていない老害 • 機械学習と深層学習が流行りすぎて「画像処理 = 深層学習」 • OpenCV で数十行程度で書ける処理でも 深層学習を用いて解決しようとしていることが多く感じる • 学習データが 100 件程度だと精度が低くて使い物にならない • 方法が目的になっている傾向がある
  • 84.
    Web Application • Googleは，Webブラウザで リアルタイムに人間の姿勢推定を 可能にする機械学習モデル「PoseNet」の TensorFlow.js バーションをリリース • PoseNet • 映像中の人物から 1 つまたは複数のポーズを検出 • ToseorFlow.js • Web ブラウザで実行できる オープンソースの機械学習ライブラリ • Google がオープンソースとして公開している 機械学習ライブラリ「TensorFlow」の JavaScript 版
  • 85.
    AI と Pythonの親和性 • 2015 年以降，AI ブームにより Python 関連書籍の売れ行きが好調 • AI 人気が Python 人気に直結しているのは， AI システムを開発するプログラミング言語として Python が最も使いやすい • 今日のシステム開発においてはプログラムは ゼロから書くのではなく，プログラムの共通部品を 集めた Library や特定用途向けの開発基盤である Framework を活用して工数を抑えるのが一般的 • AI 分野の Library や Framework の充実度合いで， Python は他のプログラミング言語を圧倒
  • 86.
    Library • 特定の処理を再利用するために 切り出されたプログラムの一部 • 何か処理を行う時に，自分で全ての処理を書かなくても， Libraryをつかえば (簡単に) 特定の処理を実行可能 • 自分が書けない複雑な処理も Library を活用すれば， 比較的簡単に実装することが可能 • オープンソースソフトウェアとして 配布されているものも多い • ソースコードを改変して自身のプロダクトに 取り込むことが可能 • Library を使うと，機械学習のコアな部分を一から Coding する必要がない
  • 87.
    Python の Library 分野名称 概要 リリース 機械学習 scikit-learn 多くのアルゴリズムに対応した Library 2007 深層学習 TensorFlow Google が開発した Library 2015 PyTorch Facebook が開発した Library 2016 Chainer Preferred Networks が開発した Library 2015 計算 NumPy 行列操作を高速処理する Library 2006 SciPy 統計やフーリエ変換など科学技術計算で よく使われる関数を提供する Library 2001 前処理 pandas 表形式のデータ整形，欠損値の補完と いったデータ分析の処理前に便利な機能 を提供する Library 2011 可視化 matplotlib 2 次元のグラフを描画する Library 2003 Web App Djangi フルスタックの Web App Framework 2005 Flask 軽量な Web App Framework 2010
  • 88.
    AI の勘違い (都市伝説) •AI は人間の脳のように機能する • 現在の AI は “弱い AI” ⇒ 決められた単一タスクのみ処理可能 • インテリジェントマシンは自ら学習する • 学習には “問題の設定”と“適切なデータセットの提供” が必要 • AI は 100 ％ 客観的になれる • AI は全てエンジニアによるデータとルールに基づいている • データセットと結果を評価し，潜在的な偏見が生じず 次の学習サイクルに新しい知識と統合できるようする必要がある • AI は定型業務を代替し得る • AI の予測・分類・クラスタ化により的確な判断が可能 • 医療: 放射線科医よりも迅速に病気を発見 • 金融・保険業界: ロボアドバイザが資産管理や詐欺検出に利用 • FAX すらなくならない日本では， 定型業務の全てが AI に置き換わることはない
  • 89.
    近年の AI ブーム •誰もが AI を求めている？ • “AI” ではなく，“AI っぽい何か” を求めている • “休憩するためにカフェに行く” のではなく， “インスタ映えのためにカフェに行く” • 前提が違うと話しが噛み合わない．
  • 90.
    AI の相違 Start 1956 年 初めてAI と言う言葉が使われる 1960 年代 「推論と検索の時代」 第一次 AI ブーム 1980 年代 「エキスパートシステム」 第二次 AI ブーム 2011 年頃～ 「深層学習」 第三次 AI ブーム 2045 年頃？シンギュラリティ 汎用人工知能 (AGI) • 人によって指している AI が違う • AI の根本的な問題は AI に帯する認識の不一致
  • 91.
    AI の課題 0 510 15 20 25 30 35 40 45 十分な量・質を備えたデータの取得 AI の精度が不十分 AI 活用リスクが大きい メンテナンスコストが高い AI 導入の目的が不明確 ベンダーとのコミュニケーションが困難 ベンダーの自社が属する業界への知識不足 従来の手法で ROI や評価基準が設定できず… 契約条件が不適当 AI 人材・知識不足 経営層の納得が得にくい 現場の納得が得にくい 適切なベンダー選定が困難 課題が不明瞭 その他 フェーズごとの課題 企画・立案段階 (n=381) 企画・立案終了~概念実証完了まで (n=381) 概念実証終了~実用化済み (n=381) • 課題が不明瞭 • AI 導入の目的が不明瞭 • 十分な量・質を備えたデータが取得できていない • AI の精度が不十分 • データの取得と課題の選出が問題． • 特に医用データは医療関係者の介在が なければ公開データ以外取得不可能． 引用：「平成30年度成果報告書 産業分野における人工知能及びその内の機械学習の活用状況及び人工知能技術の安全性に関する調査」
  • 92.
    機械学習エンジニアの不足 • 経済産業省は機械学習に関わる人材が 2020 年には4.8 万人不足すると予測 • 2019 年 3 月に政府の AI 戦略が 年間 25 万人を目標に AI 人材を育成 • 教育再生会議が全ての大学生が AI などの基礎的な素養を身につけられるように 標準カリキュラムを作成することを提言 • 高校教育 • AI などを理解するうえで必要な 「確率」「統計」「行列」などを確実に学ぶ • 技術の発展に応じて教育内容を迅速に変えるため， 学習指導要領の一部改訂や教科書の一部訂正といった制度を活用 • 大学教育 • 産業界と協力しながら AI や数理，データサイエンスの分野で 求められる知識や技能を特定し，それを身につけられる 教育プログラムを国が認定する制度の創設 • 履修状況を採用活動やインターンシップなどに活用することを想定
  • 93.
    AutoML • 2017 年頃からAutoML が注目を集め出した • ニューラルネットワークが ニューラルネットワークを作り上げる • 2018 年初頭，Google が画像分類の Cloud AutoML をアル ファ版公開 • Cloud AutoML は機械学習の専門家でなくても高品質な 画像分類モデルを生成できるというもの • その背景にある理論が Neural Architecture Search (NAS) • NAS が従来のニューラルネットワーク設計と違うのは， NAS はニューラルネットワークのアーキテクチャ自体を 最適化するということ
  • 94.
    AutoML • 機械学習の専門知識がなくても， 最小限の労力で，高品質のカスタム機械学習 モデルをトレーニングできるサービス • Google:AutoML Vision • データセットを用意すれば学習済みモデルの 作成が依頼でき，完成したモデルを購入できる 画像分類 無料 有料 訓練 毎月最初のモデル 10 個に ついては，アカウントごとに 1 ノード時間まで無料 以後のトレーニング時間については， 1 時間あたり USD $20.00 予測 1,000 枚までの画像は無料 画像の数が 1,001～5,000,000 枚の場合， 画像 1,000 枚あたり $3
  • 95.
    医療系 DL，AI をしたい方へ •Neural Network Console (ソニー株式会社) • Azure Machine Learning Studio (Microsoft) • MatrixFlow (株式会社 MatrixFlow) • Cloud AutoML (Google) • Coding の必要がなく GUI でモデルの構築が可能． • 環境構築が不要または簡単に完了． • Coding についての学習を省くことができるので， DL の基礎となる数学や統計を学べる． • 医用画像に対する AI の運用は，教師データの作成に 医用情報が必要となるため，Medical が介入する必要がある (特に Classification，Detection，Segmentation)． • データクリーニングに多くの時間を費やす必要がある． • 研究 < 臨床 となっており，目新しさよりも安定を求める傾向． • 医療系 AI を医療人が行うことに一定の需要はある．
  • 96.

Editor's Notes

  • #20 チューリングは第 2 次世界大戦中，ナチス・ドイツの暗号解読に多大な役割を果たし，連合国の勝利に貢献 コンピューター科学や人工知能の父として，そして戦争の英雄として，アラン・チューリングの貢献は，多岐にわたり，現代の大勢がその恩恵を受けている
  • #38 パーセプトロンを複数接続したもの． 個々のパーセプトロンでは，人間の神経細胞と同様に，入力された値をもとに情報の修飾 (数学的な計算) を行い，他のパーセプトロンに伝達することが行われている． この情報の修飾により，入力された情報の「特徴」が認識される． 旧来は，コンピュータの能力に限界があり，ニューラルネットワークの層を増やすことができなかった． そのため，パーセプトロン同士の接続が (人間の神経回路に比べて) 単純であり，特徴を十分に学習させることができない問題があった．
  • #39 パーセプトロンを複数接続したもの． 個々のパーセプトロンでは，人間の神経細胞と同様に，入力された値をもとに情報の修飾 (数学的な計算) を行い，他のパーセプトロンに伝達することが行われている． この情報の修飾により，入力された情報の「特徴」が認識される． 旧来は，コンピュータの能力に限界があり，ニューラルネットワークの層を増やすことができなかった． そのため，パーセプトロン同士の接続が (人間の神経回路に比べて) 単純であり，特徴を十分に学習させることができない問題があった．
  • #42 近年のコンピューターの著しい能力向上，そして情報修飾 (数学的な計算) 方法のブレークスルーなどがあり，ニューラルネットワークの層を増やしたモデルの構築が可能となった． ディープニューラルネットワークでは，より人間の神経回路に近いパーセプトロンの接続を行うことができる．これにより入力された情報から，より多くの特徴を認識できるようになり，機械学習の精度が飛躍的に向上した．
  • #52 近年のコンピューターの著しい能力向上，そして情報修飾 (数学的な計算) 方法のブレークスルーなどがあり，ニューラルネットワークの層を増やしたモデルの構築が可能となった． ディープニューラルネットワークでは，より人間の神経回路に近いパーセプトロンの接続を行うことができる．これにより入力された情報から，より多くの特徴を認識できるようになり，機械学習の精度が飛躍的に向上した．
  • #60 複数のCT画像から作った3DモデルをAIで解析
  • #78 これらの顔は， NVIDIA の研究者らが 2018 年に開発した技術を利用して生み出された． 1 週間にわたる膨大な顔写真のデータセットを用いた訓練を経て，ニューラルネットワークは視覚的なパターンを模倣し，本物そっくりでありながら実在しない人たちの画像を出力できるようになった．