2019年2月14日@TOBITA Tech Meetup (https://tobitatech.com/meetup/) の登壇資料 Yuma Matsuoka AI技術を研究する学生からみたビッグデータという言葉． 最終的にはイベントの趣旨である量子コンピューター(ハードウェア)に話を持っていく構成．

1. AI技術を支える２本の柱?
〜AI技術と構造化されたデータ，ハードウェア〜
松岡 佑磨
https://tobitatech.com/meetup/
http://ur2.link/Qm7F

2. 自己紹介
松岡 佑磨
法政大学 理工学研究科 修士2年
- 深層学習(AI技術)を使った(顔)画像認識
全脳アーキテクチャ若手の会 副代表
ソフトバンクアカデミア 9期
トビタテ 7期(Johns Hopkinsに1年間の研究留学)
2
修士論文の締め切り直前ですが，
頑張って発表します．https://wbawakate.jp/member/matsuoka-yuma/
http://ur2.link/Qm7F

3. 今日のテーマってなんでしたっけ？
3
http://ur2.link/Qm7F

4. 今日のテーマ
https://tobitatech.com/meetup/
4
http://ur2.link/Qm7F

5. 今日のテーマ
https://tobitatech.com/meetup/
5
http://ur2.link/Qm7F

6. ビッグデータとは
ビッグデータとは単に量が多いだけでなく、様々な種類・形式が
含まれる非構造化データ・非定型的データであり、さらに、日々
膨大に生成・記録される時系列性・
リアルタイム性のあるようなものを指すことが多い。
IT用語辞典より
6

7. どれくらい大きければビッグデータ？
Bank of Americaでは1.5ペタバイト以上のDWHを持ち、世界的
なスーパーマーケットチェーンであるウォルマート・ストアーズで
は2.5ペタバイト以上、さらにインターネットのオークション・サイト
であるeBayでは6ペタバイト以上のデータを格納したDWHが稼
働しているそうです。ですから、単純のペタバイトなら「ビッグ
データ」ではないのです。
https://www.hitachi.co.jp/products/it/bigdata/column/column01.html 7
少なくとも１ペタバイト以上のデータ！

8. AI技術分野におけるビッグデータ
ImageNet Large Scale Visual Recognition Challenge[1]
- 128万枚の画像で約1テラバイト
- 全て人力で整理されてクリーンな構造化データ
- 実際のビッグデータのようにデータ構造が変わることはない
8[1]http://image-net.org/challenges/LSVRC/2017/download-images-1p39.php
ImageNetより引用

9. AI技術分野におけるビッグデータ
ImageNet Large Scale Visual Recognition Challenge[1]
- 128万枚の画像で約1テラバイト
- 全て人力で整理されてクリーンな構造化データ
- 実際のビッグデータのようにデータ構造が変わることはない
9[1]http://image-net.org/challenges/LSVRC/2017/download-images-1p39.php
ImageNetより引用
AI技術の学習に29時間必要

10. 構造化されたデータとAI技術
10
現在のAI技術分野におけるビッグデータは
ビッグデータの定義の1/1000以下
クリーンなデータが増えれば増えるほど
AI技術の性能は上がる
ビッグなデータセット(ラベル付データ)作成は難しいので
擬似的にデータを水増しする技術が現在の1つの大きな柱
- Y. Yamada, M.Iwamura, T. Akiba and K. Kise. ShakeDrop Regularization for Deep Residual Learning.
arXiv: 1802.02375v2, 2018
- X. Gastaldi. Shake-shake regularization. arXiv:1705.07485v2, 2017.
- Z. Zhong, L. Zheng, G. Kang, S. Li, and Y. Yang. Random erasing data augmentation. arXiv:1708.04896,
2017.
- H. Zhang, M. Cisse, Y. N. Dauphin, and D. LopezPaz. mixup: Beyond empirical risk minimization.
arXiv:1710.09412, 2017.

11. 今のAIブームのきっかけ
2012年のAI技術によるブレークスルー[6]
- 基本的な技術は30年以上前からあった[7, 8, 9]
- “テラバイト”単位の大規模な画像データセット[10]
- ハードウェア(パソコン)の進歩
11
[6] A. Krizhevsky, I. Sutskever, and G. E. Hinton. Imagenet classification with
deep convolutional neural networks. In Proc. of NIPS, 2012.
[7] Rumelhart, D.E., G.E. Hinton, and R.J. Williams. "Learning representations by
back-propagating errors." nature323.6088 (1986): 533.
[8] K. Fukushima and S. Miyake. Neocognitron: A new algorithm for pattern
recognition tolerant of deformations and shifts in position. Pattern Recognition,
15(6):455–469, 1982.
[9] Y. LeCun, L. Bottou, Y. Bengio, and P. Haffner. Gradient-based learning
applied to document recognition. Proceedings of the IEEE, 86(11):2278–2324,
1998.
[10] O. Russakovsky, J. Deng, H. Su, J. Krause, S. Satheesh, S. Ma, Z. Huang, A.
Karpathy, A. Khosla, M. Bernstein, et al. Imagenet large scale visual recognition
challenge. arXiv:1409.0575, 2014
NVIDIAより引用

12. ハードウェアの進化とAI技術
CPU→GPU→AI技術専用チップ(TPU)と
大規模データにAI技術を使用する
ハードウェアが遷移してきた
12
[CPU] https://vectory.work/flops/
[GPU] https://www.nvidia.com/ja-jp/data-center/tesla-t4/
[TPU] https://gigazine.net/news/20180510-google-tpu-3-ai-processor/
1 8
391
世界最強のボードゲームAIのAlphaGo Zeroは
TPU4個のマシン1000台を並列で3日間学習
→GPU1枚で学習すると，986年
→CPU1つで学習すると，1.97万年
ハードウェアの進歩はAI技術の
不可能を可能にした
大槻将棋より引用

13. ハードウェア
AI技術を支える２本の柱
13
構造化されたデータ
AI技術

14. GPUの並列化による最適化速度の向上
もともと29時間かかるResNet-50の学習を高速化
- Chainer(PFN) 15分で達成[1]@Nov, 2017
- NNL(SONY) 3分弱で達成[2]@Nov., 2018
[2]で1088GPUまで並列して91%以上のスケーラビリティ
14
[1]https://www.preferred-networks.jp/docs/imagenet_in_15min.pdf
[2]https://nnabla.org/paper/imagenet_in_224sec.pdf
現在でもお金があれば並列化で高速化が可能？

15. まとめ
AI技術の進歩はデータの大規模化とハードウェアの進歩に
密接に関係している
● AI技術に出して欲しい答えのついた大規模データ
● AI技術でデータを処理するハードウェア
○ CPU→GPU→AI技術専用チップと遷移してきた
○ 量子コンピュータが出ると...どうなる？？？
15

16. Appendix
16

17. 今日のテーマ
https://tobitatech.com/meetup/
17

18. AIモデルのパラメータ数
ディープラーニングモデルを実際に使うためには
約480,000~60,000,000のパラメータの最適化が必要
18
Model # Parameters Top-1 Accuracy
alexnet 61.10M 54.92%
mobilenet0.25 0.48M 51.85%
resnet152_v2 60M 79.21%
https://mxnet.incubator.apache.org/api/python/gluon/model_zoo.html
20年後には量子コンピュータで最適化する時代が来る？

19. AI技術の最適化方法
ディープラーニング(AI技術の1つ)の学習に使うLoss関数(AIの
目的)が”だいたい”凸であるため確率的勾配降下法(SGD)で大
域解にモデルの最適化の学習が収束
19
https://mieruca-ai.com/ai/easy_deeplearning_algorithm/
http://ruder.io/optimizing-gradient-descent/
thothchildrenより引用

20. 実践的な環境を想定したAI研究
- Learning without Forgetting[3]
- Incremental Learning of Object Detectors
without Catastrophic Forgetting[4]
- iCaRL: Incremental Classifier
and Representation Learning[5]
20
[3] https://arxiv.org/abs/1606.09282
[4] http://openaccess.thecvf.com/content_ICCV_2017/papers/Shmelkov_Incremental_Learning_of_ICCV_2017_paper.pdf
[5] http://openaccess.thecvf.com/content_cvpr_2017/papers/Rebuffi_iCaRL_Incremental_Classifier_CVPR_2017_paper.pdf

21. 構造化されたデータとAI技術
データウェアハウスのような構造化されたデータが重要
- AI技術でデータ分析するなら，さらにラベル(AIで予測したい
答え)をデータにつける必要がある(コスト大)
構造化されたデータなら複雑なデータ処理も可能[2]
21[2]https://www.slideshare.net/f2forest/ss-108087799
全てのデータが時系列ごとに統合
BOXILより引用