本スライドは、弊社の梅本により弊社内の技術勉強会で使用されたものです。
近年注目を集めるアーキテクチャーである「Transformer」の解説スライドとなっております。
"Arithmer Seminar" is weekly held, where professionals from within and outside our company give lectures on their respective expertise.
The slides are made by the lecturer from outside our company, and shared here with his/her permission.
Arithmer株式会社は東京大学大学院数理科学研究科発の数学の会社です。私達は現代数学を応用して、様々な分野のソリューションに、新しい高度AIシステムを導入しています。AIをいかに上手に使って仕事を効率化するか、そして人々の役に立つ結果を生み出すのか、それを考えるのが私たちの仕事です。
Arithmer began at the University of Tokyo Graduate School of Mathematical Sciences. Today, our research of modern mathematics and AI systems has the capability of providing solutions when dealing with tough complex issues. At Arithmer we believe it is our job to realize the functions of AI through improving work efficiency and producing more useful results for society.
ベイズ最適化によるハイパーパラメータ探索についてざっくりと解説しました。
今回紹介する内容の元となった論文
Bergstra, James, et al. "Algorithms for hyper-parameter optimization." 25th annual conference on neural information processing systems (NIPS 2011). Vol. 24. Neural Information Processing Systems Foundation, 2011.
https://hal.inria.fr/hal-00642998/
文献紹介:EfficientDet: Scalable and Efficient Object DetectionToru Tamaki
Mingxing Tan, Ruoming Pang, Quoc V. Le; EfficientDet: Scalable and Efficient Object Detection, Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2020, pp. 10781-10790
https://openaccess.thecvf.com/content_CVPR_2020/html/Tan_EfficientDet_Scalable_and_Efficient_Object_Detection_CVPR_2020_paper.html
本スライドは、弊社の梅本により弊社内の技術勉強会で使用されたものです。
近年注目を集めるアーキテクチャーである「Transformer」の解説スライドとなっております。
"Arithmer Seminar" is weekly held, where professionals from within and outside our company give lectures on their respective expertise.
The slides are made by the lecturer from outside our company, and shared here with his/her permission.
Arithmer株式会社は東京大学大学院数理科学研究科発の数学の会社です。私達は現代数学を応用して、様々な分野のソリューションに、新しい高度AIシステムを導入しています。AIをいかに上手に使って仕事を効率化するか、そして人々の役に立つ結果を生み出すのか、それを考えるのが私たちの仕事です。
Arithmer began at the University of Tokyo Graduate School of Mathematical Sciences. Today, our research of modern mathematics and AI systems has the capability of providing solutions when dealing with tough complex issues. At Arithmer we believe it is our job to realize the functions of AI through improving work efficiency and producing more useful results for society.
ベイズ最適化によるハイパーパラメータ探索についてざっくりと解説しました。
今回紹介する内容の元となった論文
Bergstra, James, et al. "Algorithms for hyper-parameter optimization." 25th annual conference on neural information processing systems (NIPS 2011). Vol. 24. Neural Information Processing Systems Foundation, 2011.
https://hal.inria.fr/hal-00642998/
文献紹介:EfficientDet: Scalable and Efficient Object DetectionToru Tamaki
Mingxing Tan, Ruoming Pang, Quoc V. Le; EfficientDet: Scalable and Efficient Object Detection, Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2020, pp. 10781-10790
https://openaccess.thecvf.com/content_CVPR_2020/html/Tan_EfficientDet_Scalable_and_Efficient_Object_Detection_CVPR_2020_paper.html
論文紹介:Adversarially Learned One-Class Classifier for Novelty DetectionKazuki Adachi
Sabokrou, Mohammad, et al. "Adversarially Learned One-Class Classifier for Novelty Detection." The IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2018, pp. 3379-3388
11. 11
空間的な依存関係を考慮したモデル
グラフ理論
Jianbo Shi and Jitendra Malik. Normalized cuts and image segmentation. IEEE Transactions on Pattern
Analysis and Machine Intelligence, 22(8):888–905, August 2000.
• 画素をノードとするグラフとみなし,エッジで結合された画素を同じクラスとする!
• グラフのクラス内類似度を最大化,クラス間類似度を最小化するようなグラフを求める
S. P. Chatzis and G. Tsechpenakis. The infinite hidden markov random field model. IEEE Transactions on
Neural Networks, 21:1004–1014, June 2010.
• 画素は背後に仮定した潜在変数に依存して観測される!
• 潜在変数は近傍の潜在変数のみに依存する
マルコフ確率場
ガウス過程
E.B. Sudderth and M. I. Jordan. Shared segmentation of natural scenes using dependent pitman-yor
processes. In Daphne Koller, Dale Schuurmans, Yoshua Bengio, and Leon Bottou, editors, NIPS, pages
1585-1592. MIT Press, 2008.
• 近傍の画素は類似する性質をガウス過程でモデル化!
• ある画素のラベルはほかのすべての画素から影響を受け,近傍ほど影響が大きい
画像の空間的な特性を考慮したモデルが存在する