Semi supervised, weakly-supervised, unsupervised, and active learningYusuke Uchida
An overview of semi supervised learning, weakly-supervised learning, unsupervised learning, and active learning.
Focused on recent deep learning-based image recognition approaches.
本スライドは、弊社の梅本により弊社内の技術勉強会で使用されたものです。
近年注目を集めるアーキテクチャーである「Transformer」の解説スライドとなっております。
"Arithmer Seminar" is weekly held, where professionals from within and outside our company give lectures on their respective expertise.
The slides are made by the lecturer from outside our company, and shared here with his/her permission.
Arithmer株式会社は東京大学大学院数理科学研究科発の数学の会社です。私達は現代数学を応用して、様々な分野のソリューションに、新しい高度AIシステムを導入しています。AIをいかに上手に使って仕事を効率化するか、そして人々の役に立つ結果を生み出すのか、それを考えるのが私たちの仕事です。
Arithmer began at the University of Tokyo Graduate School of Mathematical Sciences. Today, our research of modern mathematics and AI systems has the capability of providing solutions when dealing with tough complex issues. At Arithmer we believe it is our job to realize the functions of AI through improving work efficiency and producing more useful results for society.
AAAI2023「Are Transformers Effective for Time Series Forecasting?」と、HuggingFace「Yes, Transformers are Effective for Time Series Forecasting (+ Autoformer)」の紹介です。
Semi supervised, weakly-supervised, unsupervised, and active learningYusuke Uchida
An overview of semi supervised learning, weakly-supervised learning, unsupervised learning, and active learning.
Focused on recent deep learning-based image recognition approaches.
本スライドは、弊社の梅本により弊社内の技術勉強会で使用されたものです。
近年注目を集めるアーキテクチャーである「Transformer」の解説スライドとなっております。
"Arithmer Seminar" is weekly held, where professionals from within and outside our company give lectures on their respective expertise.
The slides are made by the lecturer from outside our company, and shared here with his/her permission.
Arithmer株式会社は東京大学大学院数理科学研究科発の数学の会社です。私達は現代数学を応用して、様々な分野のソリューションに、新しい高度AIシステムを導入しています。AIをいかに上手に使って仕事を効率化するか、そして人々の役に立つ結果を生み出すのか、それを考えるのが私たちの仕事です。
Arithmer began at the University of Tokyo Graduate School of Mathematical Sciences. Today, our research of modern mathematics and AI systems has the capability of providing solutions when dealing with tough complex issues. At Arithmer we believe it is our job to realize the functions of AI through improving work efficiency and producing more useful results for society.
AAAI2023「Are Transformers Effective for Time Series Forecasting?」と、HuggingFace「Yes, Transformers are Effective for Time Series Forecasting (+ Autoformer)」の紹介です。
An incremental algorithm for transition-based CCG parsingAkira Miyazawa
I introduce a paper “An incremental algorithm for transition-based CCG parsing” by Bharat Ram Ambati, Tejaswini Deoskar, Mark Johnson and Mark Steedman.
20. 19/25
問題の再定式化
しかし (3) は依然として NP 困難であるから,H が Rn×k
を動くものと
する.すなわち
minimize
H∈Rn×k
tr (H LH)
subject to H DH = I
(4)
を解くことにする.
解きやすくするため,以下では T := D1/2
H と置いた
minimize
T ∈Rn×k
tr T D−1/2
LD−1/2
T
subject to T T = I
(5)
を考える.
24. 23/25
アルゴリズム
Normalized spectral clustering according to Shi and Malik (2000)
1: Construct a similarity graph.
2: Compute the graph Laplacian L.
3: Compute the first k generalized eigenvectors u1, . . . , uk of the
generalized eigenproblem Lu = λDu.
4: Let H := (hiκ) = (u1 · · · uk) ∈ Rn×k
.
5: Let yi := (hi,1 · · · hi,k) ∈ Rk
(i = 1, . . . , n).
6: Cluster the points y1, . . . , yn with the k-means algorithm into clusters
C1, . . . , Ck.
時間計算量について考察する.類似度行列の作成は,完全連結で計算し
た場合 O dn2
となる.固有ベクトルの計算は,手法によって違いはあ
るものの大体 O n3
程度である.k 平均法によるクラスタリングは繰
り返しの回数を I として O (Ikdn) である.
データが増えると固有ベクトルの計算が大きな負担になってしまう.
26. 25/25
参考文献
Murphy, K. P. (2012). Machine learning: a probabilistic
perspective.
Simovici, D. A. and Djeraba, C. (2008). Mathematical tools for
data mining. Advanced Information and Knowledge
Processing, page 129–172.
von Luxburg, U. (2007). A tutorial on spectral clustering.
Statistics and computing, 17(4):395–416.