発表資料です！

1. Yuko Fujiyama September 27th & 28th, 2019
第 11 回 最先端 NLP 勉強会

2. 2
AGENDA
10 分しかないので手短に話します！
• 自己紹介
• BERT がめちゃめちゃ早くなりました！
• NVIDIA のオープンソース プロジェクトの動向
• なんで最先端 NLP 勉強会をスポンサーしてるの？？
• 今後もスポンサーを継続するために

3. 3
自己紹介
藤山 裕子 (ふじやま ゆうこ)
長崎県出身:
• 高校では理系総合コースに
東京大学大学院 ← お茶の水女子大学
• 大学では心理学と言語学を専攻
NVIDIA ← Google ← Microsoft
• 主にマーケティングを担当
Twitter: @yukofuji
Facebook: Yuko.Fujiyama

4. 4
BERT がめちゃめちゃ早くなりました！
• NVIDIA が無料で公開している TensorRT がキーに。
• TensorRT は高性能ディープラーニング推論の最適化、実行ライブラリ。
• アプリケーションにおける低遅延かつ高スループットの推論を可能に。
• 最新の TensorRT 6 では、BERT-Large の推論をわずか 5.8 ミリ秒 で実行可能。
• 自然な会話の応答の典型的な間隔は約 200 ミリ秒。
• 各モデルの実行に時間がかかると、応答が遅くなり、会話が不自然に。
https://blogs.nvidia.co.jp/2019/09/19/tensorrt6-breaks-bert-record/
推論だけでなく、学習も高速化 ▶https://devblogs.nvidia.com/training-bert-with-gpus/
• NVIDIA DGX SuperPOD は、わずか 53 分で BERT-Large をトレーニング

5. 5
参考資料
NVIDIA Clocks World’s Fastest BERT Training Time and Largest Transformer Based Model,
Paving Path For Advanced Conversational AI (August 13, 2019)
• https://devblogs.nvidia.com/training-bert-with-gpus/
Real-Time Natural Language Understanding with BERT Using TensorRT (August 13, 2019)
• https://devblogs.nvidia.com/nlu-with-tensorrt-bert/
What Is Conversational AI? Real-time natural language understanding will transform how we
interact with intelligent machines and applications. (August 19, 2019)
• https://blogs.nvidia.com/blog/2019/08/19/what-is-conversational-ai/

6. 6
AGENDA
• 自己紹介
• BERT がめちゃめちゃ早くなりました！
• NVIDIA のオープンソース プロジェクトの動向
• なんで最先端 NLP 勉強会をスポンサーしてるの？？
• 今後もスポンサーを継続するために

7. 7
NVIDIA のオープンソース プロジェクトの動向
• TensorRT: プラグイン、パーサー、各種サンプルが OSS 公開。BERT のサンプルもあり。(本体は入ってない模様。)
• TensorRT Inference Server: 推論側。大量の要求を高速にさばけるソフトウエア。言語型のモデルもある程度
動く。機能拡充が激しい。いわゆる TensorFlow Serving みたいなもの＋いろんなフレームワークに対応。
https://developer.nvidia.com/tensorrt
• AMP: わずか数行のコード追加で最新の GPU の性能を引き出すことができる仕組み。TensorFlow は 1.14 以降
なら upstream (=本家) でも有効。PyTorch は Apex として以前から OSS。
https://developer.nvidia.com/automatic-mixed-precision
https://twitter.com/NVIDIAAIJP/status/1176698453554020353 ← 30秒でわかる動画
• DeepLearningExamples: 代表的なモデルの NVIDIA 実装。スケールするよ、というのがウリ。
• RAPIDS (の中の cuString と cuDF): こちらも大事なやつ。cuString で文字列の前処理を GPU で高速化し、
cuDF および DLPack で、Deep Learning のフレームワークにゼロコピーで渡す、というのができる。
あと OSS じゃないけど。。。
NGC のコンテナの中身に関して、「先行版 (例えば本家に提案中の新機能。AMP on TensorFlow とか。) が結構
入ってたりするので、便利系ツールは定期的に確認すると良いことあるかも」。(BERT のモデルも NGC にあるよ！)

8. 8
NVIDIA もカンファレンスを行ってます
https://www.nvidia.com/en-us/gtc/present/call-for-submissions/
SHARE YOUR INNOVATION
Showcase your GPU-related work with a talk, course, or poster at GTC–the
world’s premier AI conference. Share your vision and connect with the
forward thinkers and innovators solving many of the world's most complex
challenges. As a presenter, you'll also receive a GTC conference pass.

9. 9
https://www.facebook.com/224332651088345/posts/1899884966715989

10. 10
なぜ最先端 NLP 勉強会をスポンサーするのか
Idea
Code
Train
Test
なぜ GPU はディープラーニングに向いているか
https://www.slideshare.net/NVIDIAJapan/gpu-51812528
NVIDIA のテクノロジーが役に立つ部分があればぜひ活用ください！
クリティカル パス:
Idea が沸いてから
Test が完了するまで
▶サイクルを速く回すことが重要

11. 11
なぜ最先端 NLP 勉強会をスポンサーするのか
NVIDIA のテクノロジーが役に立つ部分があればぜひ活用ください！
https://sites.google.com/view/snlp-jp/home/2019

12. 12
ハッシュタグ: #snlp2019

13. 13
FOLLOW US ON TWITTER & FACEBOOK
Twitter: @NVIDIAAIJP : https://twitter.com/NVIDIAAIJP
@NVIDIAJapan https://twitter.com/NVIDIAJapan
Facebook: @NVIDIAAI.JP https://www.facebook.com/NVIDIAAI.JP/
: @NVIDIA.JP https://www.facebook.com/NVIDIA.JP/