本スライドは、弊社の梅本により弊社内の技術勉強会で使用されたものです。
近年注目を集めるアーキテクチャーである「Transformer」の解説スライドとなっております。
"Arithmer Seminar" is weekly held, where professionals from within and outside our company give lectures on their respective expertise.
The slides are made by the lecturer from outside our company, and shared here with his/her permission.
Arithmer株式会社は東京大学大学院数理科学研究科発の数学の会社です。私達は現代数学を応用して、様々な分野のソリューションに、新しい高度AIシステムを導入しています。AIをいかに上手に使って仕事を効率化するか、そして人々の役に立つ結果を生み出すのか、それを考えるのが私たちの仕事です。
Arithmer began at the University of Tokyo Graduate School of Mathematical Sciences. Today, our research of modern mathematics and AI systems has the capability of providing solutions when dealing with tough complex issues. At Arithmer we believe it is our job to realize the functions of AI through improving work efficiency and producing more useful results for society.
本スライドは、弊社の梅本により弊社内の技術勉強会で使用されたものです。
近年注目を集めるアーキテクチャーである「Transformer」の解説スライドとなっております。
"Arithmer Seminar" is weekly held, where professionals from within and outside our company give lectures on their respective expertise.
The slides are made by the lecturer from outside our company, and shared here with his/her permission.
Arithmer株式会社は東京大学大学院数理科学研究科発の数学の会社です。私達は現代数学を応用して、様々な分野のソリューションに、新しい高度AIシステムを導入しています。AIをいかに上手に使って仕事を効率化するか、そして人々の役に立つ結果を生み出すのか、それを考えるのが私たちの仕事です。
Arithmer began at the University of Tokyo Graduate School of Mathematical Sciences. Today, our research of modern mathematics and AI systems has the capability of providing solutions when dealing with tough complex issues. At Arithmer we believe it is our job to realize the functions of AI through improving work efficiency and producing more useful results for society.
粒子フィルタ入門です.
References
- http://www.jstatsoft.org/v30/i06/paper
私はこのライブラリを使っています.
- Sequential Monte Carlo Methods in Practice (Springer)
この1章がとてもよくまとまっていておすすめです. 他にも応用例が色々書いてあるので実用向きという印象があります.
Estimating Mutual Information for Discrete‐Continuous Mixtures 離散・連続混合の相互情報量の推定Yuya Takashina
NIPS論文読み会@PFN
Gao, Weihao, et al. "Estimating mutual information for discrete-continuous mixtures." Advances in Neural Information Processing Systems. 2017.
https://arxiv.org/abs/1709.06212
【DLゼミ】XFeat: Accelerated Features for Lightweight Image Matchingharmonylab
公開URL:https://arxiv.org/pdf/2404.19174
出典:Guilherme Potje, Felipe Cadar, Andre Araujo, Renato Martins, Erickson R. ascimento: XFeat: Accelerated Features for Lightweight Image Matching, Proceedings of the 2024 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR) (2023)
概要:リソース効率に優れた特徴点マッチングのための軽量なアーキテクチャ「XFeat(Accelerated Features)」を提案します。手法は、局所的な特徴点の検出、抽出、マッチングのための畳み込みニューラルネットワークの基本的な設計を再検討します。特に、リソースが限られたデバイス向けに迅速かつ堅牢なアルゴリズムが必要とされるため、解像度を可能な限り高く保ちながら、ネットワークのチャネル数を制限します。さらに、スパース下でのマッチングを選択できる設計となっており、ナビゲーションやARなどのアプリケーションに適しています。XFeatは、高速かつ同等以上の精度を実現し、一般的なラップトップのCPU上でリアルタイムで動作します。
セル生産方式におけるロボットの活用には様々な問題があるが,その一つとして 3 体以上の物体の組み立てが挙げられる.一般に,複数物体を同時に組み立てる際は,対象の部品をそれぞれロボットアームまたは治具でそれぞれ独立に保持することで組み立てを遂行すると考えられる.ただし,この方法ではロボットアームや治具を部品数と同じ数だけ必要とし,部品数が多いほどコスト面や設置スペースの関係で無駄が多くなる.この課題に対して音𣷓らは組み立て対象物に働く接触力等の解析により,治具等で固定されていない対象物が組み立て作業中に運動しにくい状態となる条件を求めた.すなわち,環境中の非把持対象物のロバスト性を考慮して,組み立て作業条件を検討している.本研究ではこの方策に基づいて,複数物体の組み立て作業を単腕マニピュレータで実行することを目的とする.このとき,対象物のロバスト性を考慮することで,仮組状態の複数物体を同時に扱う手法を提案する.作業対象としてパイプジョイントの組み立てを挙げ,簡易な道具を用いることで単腕マニピュレータで複数物体を同時に把持できることを示す.さらに,作業成功率の向上のために RGB-D カメラを用いた物体の位置検出に基づくロボット制御及び動作計画を実装する.
This paper discusses assembly operations using a single manipulator and a parallel gripper to simultaneously
grasp multiple objects and hold the group of temporarily assembled objects. Multiple robots and jigs generally operate
assembly tasks by constraining the target objects mechanically or geometrically to prevent them from moving. It is
necessary to analyze the physical interaction between the objects for such constraints to achieve the tasks with a single
gripper. In this paper, we focus on assembling pipe joints as an example and discuss constraining the motion of the
objects. Our demonstration shows that a simple tool can facilitate holding multiple objects with a single gripper.
1. DEEP LEARNING JP
[DL Papers]
http://deeplearning.jp/
Convolutional Conditional Neural Processes と
Neural Processes Family の紹介
Makoto Kawano(@mkt_kwn), Matsuo Lab.
2. 書誌情報&謝辞
著者情報:
Jonathan Gordon, Wessel P. Bruinsma, Andrew Y. K. Foong, James Requeima,
Yann Dubois, Richard E. Turner
University of Cambridge, Invenia Labs, Microsoft Research
ICLR2020(8, 8, 6)
選定理由:
とりあえず強い
とにかく強い
ただただ強い
謝辞
本論文の理解及び発表資料作成するにあたって,貴重な時間を割いて議論していた
だいた理研 AIP の熊谷亘氏と松井孝太氏に感謝いたします.
1/49
3. 補足
今回の論文 ConvCNP を発表するにあたって,Neural Process から説明しますが,よ
り詳細を知りたい方は,過去の資料を参照していただけると幸いです
(リンク埋め込み済,クリックしてもらえれば)
Conditional Neural Processes
Attentive Neural Processes
NP Family の実装について
2/49
15. Permutation Invariant を持つ関数 Deep Sets
DeepSets [Zaheer et al., 2017]
任意の S-invariant な連続関数 f : Zn → R は,和分解可能
i.e. 適当な ρ と φ があるとき,f(Z) = ρ z∈Z φ(z) と表現できる
(観測されたデータ点) 集合を潜在表現に埋め込む encoder として多くの NPs で採用
GQN では,和を使っている
GQN は,NP の特殊なケースと見なすことが可能
Neural process では,和ではなく平均を使っている
16/49
16. Translation Equivalence (平行移動等価性)
もしデータの入力位置が τ だけ平行移動したら,出力も同様に平行移動してほしい
CNN の性能が良いのは,この性質を持つため
[Kondor and Trivedi, 2018, Cohen and Welling, 2016]
性質 2:集合における平行移動に対し等価な写像
H を X 上の関数空間とし,T と T を次のように定義する:
T : X × Z → Z, Tτ Z = ((x1 + τ, y1), . . . , (xm + τ, ym)),
T : X × H → H, Tτ h(x) = h(x − τ).
写像 Φ: Z → H が,
Φ(Tτ Z) = Tτ Φ(Z) for all τ ∈ X and Z ∈ Z.
であるとき,translation equivariance を持つ. 17/49
17. Neural Process のエンコーダにおける Translation Equivariance
既存 NP による集合 Z のベクトル空間 Rd への写像では,X の入力平行移動に関する
等価性は well-defined ではない
X 上の関数 f は τ ∈ X : f(· − τ) で平行移動可能
一方,ベクトル x ∈ Rd を関数 [d] → R,x(i) = xi とみなすと,平行移動
x(· − τ) は well-defined ではない
エンコーダ E : Z → H を X 上の関数を含む (関数) 空間 H に写像するように拡張
H 上の関数は X から写像されるため,E(Z) における translation equivariance
を定義可能
18/49
18. Multiplicity (重複度)
定義 2:Multiplicity
系 Z ⊆ Z について,各集合 Z ∈ Z に含まれる各 x が高々 K 回出現するとき:
mult Z := sup { sup { | { i ∈ [m] : xi = ˆx } | : ˆx = x1, . . . , xm
number of times every x occurs
} : (xi, yi)m
i=1 ∈ Z }
= K
Z は multiplicityK を持つという.ただし,[m] = { 1, . . . , m }
例えば:時系列や画像などの実世界データ
一ヶ所の入力位置につき,一つの (多次元である) 観測であることが多い
= multiplicity 1 に一致 (ほとんど 1 であることが多い)
19/49
42. References i
[Boone, 2019] Boone, K. (2019).
Avocado: Photometric classification of astronomical transients with gaussian process
augmentation.
arXiv preprint arXiv:1907.04690.
[Cohen and Welling, 2016] Cohen, T. and Welling, M. (2016).
Group equivariant convolutional networks.
In Balcan, M. F. and Weinberger, K. Q., editors, Proceedings of The 33rd International Conference
on Machine Learning, volume 48 of Proceedings of Machine Learning Research, pages
2990–2999, New York, New York, USA. PMLR.
45/49
43. References ii
[Galashov et al., 2019] Galashov, A., Schwarz, J., Kim, H., Garnelo, M., Saxton, D., Kohli, P., Eslami, S.,
and Teh, Y. W. (2019).
Meta-learning surrogate models for sequential decision making.
arXiv preprint arXiv:1903.11907.
[Garnelo et al., 2018a] Garnelo, M., Rosenbaum, D., Maddison, C., Ramalho, T., Saxton, D., Shanahan,
M., Teh, Y. W., Rezende, D., and Eslami, S. M. A. (2018a).
Conditional neural processes.
In Dy, J. and Krause, A., editors, Proceedings of the 35th International Conference on Machine
Learning, volume 80 of Proceedings of Machine Learning Research, pages 1704–1713,
Stockholmsmässan, Stockholm Sweden. PMLR.
46/49
44. References iii
[Garnelo et al., 2018b] Garnelo, M., Schwarz, J., Rosenbaum, D., Viola, F., Rezende, D. J., Eslami, S., and
Teh, Y. W. (2018b).
Neural processes.
arXiv preprint arXiv:1807.01622.
[Kim et al., 2019] Kim, H., Mnih, A., Schwarz, J., Garnelo, M., Eslami, A., Rosenbaum, D., Vinyals, O., and
Teh, Y. W. (2019).
Attentive neural processes.
In International Conference on Learning Representations.
47/49
45. References iv
[Kondor and Trivedi, 2018] Kondor, R. and Trivedi, S. (2018).
On the generalization of equivariance and convolution in neural networks to the action of
compact groups.
In Dy, J. and Krause, A., editors, Proceedings of the 35th International Conference on Machine
Learning, volume 80 of Proceedings of Machine Learning Research, pages 2747–2755,
Stockholmsmässan, Stockholm Sweden. PMLR.
[Louizos et al., 2019] Louizos, C., Shi, X., Schutte, K., and Welling, M. (2019).
The functional neural process.
arXiv preprint arXiv:1906.08324.
[Papamakarios and Murray, 2016] Papamakarios, G. and Murray, I. (2016).
Fast -free inference of simulation models with bayesian conditional density estimation.
In Lee, D. D., Sugiyama, M., Luxburg, U. V., Guyon, I., and Garnett, R., editors, Advances in Neural
Information Processing Systems 29, pages 1028–1036.
48/49
46. References v
[Williams and Rasmussen, 2006] Williams, C. K. and Rasmussen, C. E. (2006).
Gaussian processes for machine learning, volume 2.
MIT press Cambridge, MA.
[Zaheer et al., 2017] Zaheer, M., Kottur, S., Ravanbakhsh, S., Poczos, B., Salakhutdinov, R. R., and
Smola, A. J. (2017).
Deep sets.
In Guyon, I., Luxburg, U. V., Bengio, S., Wallach, H., Fergus, R., Vishwanathan, S., and Garnett, R.,
editors, Advances in Neural Information Processing Systems 30, pages 3391–3401.
49/49