本スライドは、弊社の梅本により弊社内の技術勉強会で使用されたものです。
近年注目を集めるアーキテクチャーである「Transformer」の解説スライドとなっております。
"Arithmer Seminar" is weekly held, where professionals from within and outside our company give lectures on their respective expertise.
The slides are made by the lecturer from outside our company, and shared here with his/her permission.
Arithmer株式会社は東京大学大学院数理科学研究科発の数学の会社です。私達は現代数学を応用して、様々な分野のソリューションに、新しい高度AIシステムを導入しています。AIをいかに上手に使って仕事を効率化するか、そして人々の役に立つ結果を生み出すのか、それを考えるのが私たちの仕事です。
Arithmer began at the University of Tokyo Graduate School of Mathematical Sciences. Today, our research of modern mathematics and AI systems has the capability of providing solutions when dealing with tough complex issues. At Arithmer we believe it is our job to realize the functions of AI through improving work efficiency and producing more useful results for society.
本スライドは、弊社の梅本により弊社内の技術勉強会で使用されたものです。
近年注目を集めるアーキテクチャーである「Transformer」の解説スライドとなっております。
"Arithmer Seminar" is weekly held, where professionals from within and outside our company give lectures on their respective expertise.
The slides are made by the lecturer from outside our company, and shared here with his/her permission.
Arithmer株式会社は東京大学大学院数理科学研究科発の数学の会社です。私達は現代数学を応用して、様々な分野のソリューションに、新しい高度AIシステムを導入しています。AIをいかに上手に使って仕事を効率化するか、そして人々の役に立つ結果を生み出すのか、それを考えるのが私たちの仕事です。
Arithmer began at the University of Tokyo Graduate School of Mathematical Sciences. Today, our research of modern mathematics and AI systems has the capability of providing solutions when dealing with tough complex issues. At Arithmer we believe it is our job to realize the functions of AI through improving work efficiency and producing more useful results for society.
【DLゼミ】XFeat: Accelerated Features for Lightweight Image Matchingharmonylab
公開URL:https://arxiv.org/pdf/2404.19174
出典:Guilherme Potje, Felipe Cadar, Andre Araujo, Renato Martins, Erickson R. ascimento: XFeat: Accelerated Features for Lightweight Image Matching, Proceedings of the 2024 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR) (2023)
概要:リソース効率に優れた特徴点マッチングのための軽量なアーキテクチャ「XFeat(Accelerated Features)」を提案します。手法は、局所的な特徴点の検出、抽出、マッチングのための畳み込みニューラルネットワークの基本的な設計を再検討します。特に、リソースが限られたデバイス向けに迅速かつ堅牢なアルゴリズムが必要とされるため、解像度を可能な限り高く保ちながら、ネットワークのチャネル数を制限します。さらに、スパース下でのマッチングを選択できる設計となっており、ナビゲーションやARなどのアプリケーションに適しています。XFeatは、高速かつ同等以上の精度を実現し、一般的なラップトップのCPU上でリアルタイムで動作します。
セル生産方式におけるロボットの活用には様々な問題があるが,その一つとして 3 体以上の物体の組み立てが挙げられる.一般に,複数物体を同時に組み立てる際は,対象の部品をそれぞれロボットアームまたは治具でそれぞれ独立に保持することで組み立てを遂行すると考えられる.ただし,この方法ではロボットアームや治具を部品数と同じ数だけ必要とし,部品数が多いほどコスト面や設置スペースの関係で無駄が多くなる.この課題に対して音𣷓らは組み立て対象物に働く接触力等の解析により,治具等で固定されていない対象物が組み立て作業中に運動しにくい状態となる条件を求めた.すなわち,環境中の非把持対象物のロバスト性を考慮して,組み立て作業条件を検討している.本研究ではこの方策に基づいて,複数物体の組み立て作業を単腕マニピュレータで実行することを目的とする.このとき,対象物のロバスト性を考慮することで,仮組状態の複数物体を同時に扱う手法を提案する.作業対象としてパイプジョイントの組み立てを挙げ,簡易な道具を用いることで単腕マニピュレータで複数物体を同時に把持できることを示す.さらに,作業成功率の向上のために RGB-D カメラを用いた物体の位置検出に基づくロボット制御及び動作計画を実装する.
This paper discusses assembly operations using a single manipulator and a parallel gripper to simultaneously
grasp multiple objects and hold the group of temporarily assembled objects. Multiple robots and jigs generally operate
assembly tasks by constraining the target objects mechanically or geometrically to prevent them from moving. It is
necessary to analyze the physical interaction between the objects for such constraints to achieve the tasks with a single
gripper. In this paper, we focus on assembling pipe joints as an example and discuss constraining the motion of the
objects. Our demonstration shows that a simple tool can facilitate holding multiple objects with a single gripper.
19. ANI-1 Dataset:データ取得方法
“ANI-1, A data set of 20 million calculated off-equilibrium conformations for organic molecules”
https://www.nature.com/articles/sdata2017193
• GDB-11データベース(最大11個のC, N, O, Fが含まれる分子を列挙)
のSubsetを使用
– C, N, Oのみに制限
– Heavy Atom は最大8個
• Normal Mode Sampling (NMS)で
一つの分子から多数の座標
conformationを生成
rdkitの
MMFF94
Gaussian09の
default method
19
20. ANI-1:結果
“ANI-1: an extensible neural network potential with DFT accuracy at force field computational cost”
https://pubs.rsc.org/en/content/articlelanding/2017/sc/c6sc05720a#!divAbstract
• Conformationを変えた場合の
エネルギー変化の予測
– DFTB, PM9, AM1といった
計算手法と比べてDFTとの
結果一致度が高い
• 別評価にて、
訓練データに含まれていない
大きさの原子に対しても
予測できることを確認
one-dimensional potential surface scan
20
21. ANI-1 & ANI-1 Dataset:まとめ
“ANI-1: an extensible neural network potential with DFT accuracy at force field computational cost”
https://pubs.rsc.org/en/content/articlelanding/2017/sc/c6sc05720a#!divAbstract
• H, C, N, O からなる小分子に関しては、
様々な分子・構造に対してDFTに似たエネルギーが
計算できるNNPが構成できた。
– 2000万という大量の計算を行いデータセットを作成
課題
• ほかの原子 (FやSなど) を追加すること
– 原子ごとに別のNNを訓練する必要がある
– 入力次元が N^2 に比例して増える。
– 取得すべきデータの組み合わせもそれに比例するはず
21
22. GNNとは
• Graph Neural Network:グラフを入力でき、データの “つながり” の情報を学習
• グラフとは:頂点 v と辺 e で構成
– Social Network(SNSの結びつきグラフ)、Citation Network(論文の引用を示すグラフ)
– 商品Network(同時購入された商品を結ぶグラフ)
– Protein-Protein Association Network
– 有機分子 etc…
22
𝒗𝟎
𝒗𝟏
𝒗𝟐
𝒗𝟒
𝒗𝟑
𝑒&' 𝑒'(
𝑒()
𝑒*)
𝑒(*
応用例が広い!
25. C
N
O
1.0 0.0 0.0 6.0 1.0
atom type
0.0 1.0 0.0 7.0 1.0
0.0 0.0 1.0 8.0 1.0
charge
chirality
原子ごとに特徴量作成
Molecular Graph Convolutions: Moving Beyond Fingerprints
Steven Kearnes, Kevin McCloskey, Marc Berndl, Vijay Pande, Patrick Riley arXiv:1603.00856
ノード(原子)の特徴量作成
26. GNNの適用:分子データ・結晶データ
• 分子データにも応用可能
→様々な種類のGNNが提案され分子データに対するDeep Learning 研究が加速
– NFP, GGNN, MPNN, GWM etc…
• 近年は座標データや結晶分子データにも応用されてきている
– SchNet, CGCNN, MEGNet, Cormorant, DimeNet, PhysNet, EGNN, TeaNet etc…
26
NFP: “Convolutional Networks on Graph for
Learning Molecular Fingerprints”
https://arxiv.org/abs/1509.09292
GWM: “Graph Warp Module: an Auxiliary Module for
Boosting the Power of Graph Neural Networks in Molecular Graph Analysis”
https://arxiv.org/pdf/1902.01020.pdf
CGCNN: “Crystal Graph Convolutional Neural Networks for an
Accurate and Interpretable Prediction of Material Properties”
https://journals.aps.org/prl/abstract/10.1103/PhysRevLett.120.145301
27. SchNet:概要
• 原子間距離 r に対して連続的に変化するContinuous filter convolution (cfconv)を提案し
原子位置 r の変化に対応できるNeural Networkを構成
“SchNet: A continuous-filter convolutional neural network for modeling quantum interactions”
https://arxiv.org/abs/1706.08566
RBF kernel
27
28. 周期境界条件のある系へのGNN活用
• CGCNNで、周期境界条件のある系に対するグラフ構築方法が提案された
• MEGNetでは、孤立系(分子)・周期境界条件(固体)双方へのGNN適用を報告
28
CGCNN: “Crystal Graph Convolutional Neural Networks for an Accurate
and Interpretable Prediction of Material Properties”
https://journals.aps.org/prl/abstract/10.1103/PhysRevLett.120.145301
MEGNet: “Graph Networks as a Universal Machine Learning Framework
for Molecules and Crystals”
https://pubs.acs.org/doi/10.1021/acs.chemmater.9b01294