NVIDIA GPU ディープラーニング最新情報
•
10 likes•3,590 views
このスライドは 2017 年 1 月 17 日 (火)、ベルサール高田馬場で開催された「NVIDIA Deep Learning Institute 2017」にて、「NVIDIA GPU ディープラーニング最新情報」と題し、エヌビディア合同会社 ディープラーニング部 部長 井﨑 武士が講演したものです。 ディープラーニングは急速な進化を続け、世界中の様々な地域そして産業でその成果を挙げてきています。 本セッションでは、米国ワシントン DC やオーストラリアなどで行われた GTCx のイベントから、最新の応用・研究事例をご紹介します。また後半には、最新のデモをご覧いただきます。デモに使用した資料は「GPU クラウド コンピューティング」として以下の URL で参照ください。 ▶ http://www.slideshare.net/NVIDIAJapan/gpu-71123096
Recommended
More Related Content
Similar to NVIDIA GPU ディープラーニング最新情報
Similar to NVIDIA GPU ディープラーニング最新情報 (16)
More from NVIDIA Japan
More from NVIDIA Japan (20)
Recently uploaded
Recently uploaded (7)
NVIDIA GPU ディープラーニング最新情報
- 1. 井﨑 武士 NVIDIA GPU ディープラーニング最新情報
- 2. Quanzheng Li Associate Professor, Massachusetts General Hospital DEEP LEARNING ON METASTASIS DETECTION OF BREAST CANCER USING DGX-1 SESSION 1
- 4. 研究の動機 • リンパ節転移はほとんどの癌のタイプで発生する （e.g. 胸部、前立腺、結腸) • リンパ節は小さな免疫細胞の塊でリンパ系の フィルターとして動作する • 脇の下のリンパ節（腋下リンパ節)は乳がんが 広がりやすい最初の箇所である • リンパ節の状態は予後に大きく関連する、 癌がリンパ節に広がっていると予後が悪くなる • 病理検査医の診断の手順は単調で 時間がかかる作業で、誤った解釈を引き起こす場合がある
- 5. • データセットはCamelyon16 Challengeのものを利用 https://camelyon16.grand-challenge.org/ • データには2つの独立したデータセットから合計400の歩哨リンパ節のWSI(Whole-slide-image)が含 まれている • トレーニングデータ • テストデータ オランダのラドバウド大学メディカルセンター/ユトレヒト大学メディカルセンターから集めた130のWSI データセット
- 6. データセット
- 7. データセット
- 8. TASK スライドベースの評価 • 転移を含むスライドと正常なスライドの区別 • スライドレベルでのROC分析 • アルゴリズムの比較はROC曲線下面積（AUC）を用いる 病変ベースの評価 • 信頼スコアを伴う腫瘍領域の検出 • FROC曲線を使用 • 最終スコアはあらかじめ決められたFalse-Positive率の感度として決められる 1/4,1/2,1,2,4,8
- 9. FRAMEWORK
- 11. NNの詳細 ResNet101を用いて、Atrous畳み込み演算とAtrous Spatial pyramid pooling (ASPP)を使用 Atrous畳み込み演算とASPPは予測のための視野を拡大し、複数の倍率でオブジェクトとイメージコ ンテキストのキャプチャを可能とする トレーニングはNVCAFFEを使用。パッチサイズは 20xで512X512。ミニバッチサイズは10 ラーニングレートは2.5e-4から始め、0.9乗の 多項式 重み減衰 0.0005 モーメンタム0.9 Tesla P100で40000イタレーション 約1日
- 12. 分類タスク Tumor Probability mapからもっとも大きな腫 瘍を取り出すために高次の特徴を抽出 （skimageの”regionprops”で異なる閾値を用 いる） 分類にはランダムフォレストを使用 検出タスク Tumor Probability mapにおいてヒートマップの 領域を結合する （Connectivity=2、Threshold=0.95)
- 14. 結果
- 15. Jiangye Yuan Research Scientist, Oak Ridge National Laboratory LEARNING BUILDING EXTRACTION IN AERIAL SCENES WITH CONVOLUTIONAL NETWORKS SESSION 2
- 16. 建物の航空写真
- 17. 一般的なCNNは適さない 典型的なネットワークは画面全体に対して、いくつかの情報を予測するが、高解像度下においては 空間情報が失われてしまう 建物の抽出にはピクセルワイズでの分類が必要とされる
- 18. 今回の手法 ピクセル分類のために複数のステージの特徴マップを統合する 特別なネットワークを作成 ネットワークの学習には、符号付距離関数をラベルとして用いた Original Boundary Region Signed Distance
- 22. 結果
- 23. 結果 他手法との比較 広大地域例
- 25. Joon Son Chung et al, Department of Engineering Science, University of Oxford. Google DeepMind LIP READING SENTENCES IN THE WILD SESSION 3 https://arxiv.org/pdf/1611.05358v1.pdf
- 26. LIP READING
- 28. CONVNET
- 30. 学習
- 31. 結果 WAS: Watch, Attend&Spell LAS: Listen, Attend & Spell WLAS: Watch, Listen, Attend & Spell CL: Curriculum Learning SS: Scheduled Sampling BS: Beam Search
- 32. Olexandr Isayev Research Assistant Professor, University of North Carolina at Chapel Hill ACCURATE PREDICTION OF PROTEIN KINASE INHIBITORS WITH DEEP CONVOLUTIONAL NEURAL NETWORKS SESSION 4
- 43. Han Zhang et al, Department of Computer Science, Rutgers University et al. STACKGAN: TEXT TO PHOTO-REALISTIC IMAGE SYNTHESIS WITH STACKED GENERATIVE ADVERSARIAL NETWORKS SESSION 5 https://arxiv.org/pdf/1612.03242v1.pdf
- 44. GAN おさらい
- 45. GENERATIVE ADVERSARIAL TEXT TO IMAGE SYNTHESIS 文章から画像を生成するGAN ψ：Text Encoder (今回128次元) https://arxiv.org/pdf/1605.05396v2.pdf Scott Reed et al, University of Michigan https://arxiv.org/pdf/1605.05396.pdf
- 47. STACKGAN
- 49. Edward Raff Lead Scientist, Booz Allen Hamilton Jared Sylvester Senior Consultant , Booz Allen Hamilton FIGHTING MALWARE WITH MACHINE LEARNING SESSION 6
- 50. マルウェアに対するMLの必要性 • マルウェアの数は指数関数的に増加してい る • アンチウィルスや署名ベースのアプローチは 受動的で最新のマルウェアには有効でない • 現在のアプローチは労働集約的で、優秀 なアナリストを必要とする • 機械学習は能動的ソリューションの潜在的 可能性を秘めているが、難しい
- 52. MLによるマルウェア対策の現状 機械学習を使用し、専門知識が最小限でもマルウェアに対応していきたい •高価で、マルウェアはいつも上手く動作するとは限らない n-gramなどツールを使う前には多くの作業が発生し、多くの結果はデータ品質の問題に悩まされて いる • Journal of Computer Virology and Hacking Techniques に載っている“An Investigation of Byte N-Gram Features for Malware Classification”を見よう ディープラーニングは解決法を提供してくれそう 短期: より簡単なケースを手に入れ、より難しいものはMLを使ってアナリストを支援する
- 54. アテンションとは？
- 55. アテンションとは？
- 57. 最終的なアーキテクチャ
- 58. Associate Professor, Icahn School of Medicine at Mount Sinai, New York DEEP PATIENT: PREDICT THE MEDICAL FUTURE OF PATIENTS WITH DEEP LEARNING SESSION 7
- 59. INTRODUCTION • ヘルスケアに対するコストの上昇は、予防医学への動機となっている • 健康を促進し、維持し、疾病、障害、および死亡を予防するための予防的アプローチ • 個別化医療（Precision Medicine) • 個人の状態のすべての側面を考慮に入れた 疾病の治療と予防の新たなアプローチ • 適切な治療が適切な患者に適切なタイミングで 提供されるようにする
- 61. 現状の問題点 • EHRはその高い次元、ノイズ、異質性、希薄性、不完全性、ランダム誤差、および系統的バイア スによりモデル化が難しい • モデルやシステムは特定の病気に焦点を当てている • 臨床医によりアドホックな記述子が手作業で選ばれている • スケーラブルでない • 知らないパターンは無視される • 病院内ではすべての臨床記述子で構成される生ベクトルが利用可能 • 希薄でノイズ交じりで繰り返し • 単純な特徴学習アルゴリズムを用いた基本的な事前処理 • データに組み込まれた階層情報をモデル化することが出来ない
- 62. DEEP PATIENT Deep Learningで患者のデータを処理し、自由度が高 く、高密度で、堅牢で低次元であり、患者の将来の出 来事を予測するために効果的に使用できる表現を導 き出す
- 65. ネットワークアーキテクチャ
- 67. 病気の予測：実験 病気の予測 患者の現在の臨床ステータスを下に、一定期間後の発病の確率を予測する 学習データセット 1980年～2013年の患者データ （約160万人) テストセット 10万人の患者 2014年の新たな診断結果により評価 79種類の病気 腫瘍学、内分泌学、心臓学など
- 68. 結果
- 69. 結果
- 70. Aviv Tamar, Yi Wu, Garrett Thomas, Sergey Levine, and Pieter Abbeel Dept. of Electrical Engineering and Computer Sciences, UC Berkeley VALUE ITERATION NETWORKS SESSION 8
- 71. アプリケーション例
- 73. ネットワークモデル(VIN)
- 74. 結果