博士論文の執筆した時に作った,チェックリストをスライドにまとめました.
This slide is only for Japanese speakers
他に参考になるページ
+修士論文の作り方( http://itolab.is.ocha.ac.jp/~itot/lecture/msthesis.html ) by 伊藤先生
+修論(D論)参考( http://d.hatena.ne.jp/rkmt/20101217/1292573279 ) by 暦本純一先生
本スライドは、弊社の梅本により弊社内の技術勉強会で使用されたものです。
近年注目を集めるアーキテクチャーである「Transformer」の解説スライドとなっております。
"Arithmer Seminar" is weekly held, where professionals from within and outside our company give lectures on their respective expertise.
The slides are made by the lecturer from outside our company, and shared here with his/her permission.
Arithmer株式会社は東京大学大学院数理科学研究科発の数学の会社です。私達は現代数学を応用して、様々な分野のソリューションに、新しい高度AIシステムを導入しています。AIをいかに上手に使って仕事を効率化するか、そして人々の役に立つ結果を生み出すのか、それを考えるのが私たちの仕事です。
Arithmer began at the University of Tokyo Graduate School of Mathematical Sciences. Today, our research of modern mathematics and AI systems has the capability of providing solutions when dealing with tough complex issues. At Arithmer we believe it is our job to realize the functions of AI through improving work efficiency and producing more useful results for society.
園田翔氏の博士論文を解説しました。
Integral Representation Theory of Deep Neural Networks
深層学習を数学的に定式化して解釈します。
3行でいうと、
ーニューラルネットワーク—(連続化)→双対リッジレット変換
ー双対リッジレット変換=輸送写像
ー輸送写像でNeural Networkを定式化し、解釈する。
目次
ー深層ニューラルネットワークの数学的定式化
ーリッジレット変換について
ー輸送写像について
博士論文の執筆した時に作った,チェックリストをスライドにまとめました.
This slide is only for Japanese speakers
他に参考になるページ
+修士論文の作り方( http://itolab.is.ocha.ac.jp/~itot/lecture/msthesis.html ) by 伊藤先生
+修論(D論)参考( http://d.hatena.ne.jp/rkmt/20101217/1292573279 ) by 暦本純一先生
本スライドは、弊社の梅本により弊社内の技術勉強会で使用されたものです。
近年注目を集めるアーキテクチャーである「Transformer」の解説スライドとなっております。
"Arithmer Seminar" is weekly held, where professionals from within and outside our company give lectures on their respective expertise.
The slides are made by the lecturer from outside our company, and shared here with his/her permission.
Arithmer株式会社は東京大学大学院数理科学研究科発の数学の会社です。私達は現代数学を応用して、様々な分野のソリューションに、新しい高度AIシステムを導入しています。AIをいかに上手に使って仕事を効率化するか、そして人々の役に立つ結果を生み出すのか、それを考えるのが私たちの仕事です。
Arithmer began at the University of Tokyo Graduate School of Mathematical Sciences. Today, our research of modern mathematics and AI systems has the capability of providing solutions when dealing with tough complex issues. At Arithmer we believe it is our job to realize the functions of AI through improving work efficiency and producing more useful results for society.
園田翔氏の博士論文を解説しました。
Integral Representation Theory of Deep Neural Networks
深層学習を数学的に定式化して解釈します。
3行でいうと、
ーニューラルネットワーク—(連続化)→双対リッジレット変換
ー双対リッジレット変換=輸送写像
ー輸送写像でNeural Networkを定式化し、解釈する。
目次
ー深層ニューラルネットワークの数学的定式化
ーリッジレット変換について
ー輸送写像について
Kuroda NLP17 slides on Parallel Simulated Error Correction methodKow Kuroda
This talk expounds in Japanese how Parallel Simulated Error Correction (PSEC) can be successfully applied to natural language data that is often incomplete and/or inconsistent, thereby providing a natural ground for Pattern Lattice Model of linguistic knowledge. One of the best features of PSEC is that it can deals with parody very effectively, which is hard to describe in other frameworks or conceptions of linguistic knowledge.
【DLゼミ】XFeat: Accelerated Features for Lightweight Image Matchingharmonylab
公開URL:https://arxiv.org/pdf/2404.19174
出典:Guilherme Potje, Felipe Cadar, Andre Araujo, Renato Martins, Erickson R. ascimento: XFeat: Accelerated Features for Lightweight Image Matching, Proceedings of the 2024 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR) (2023)
概要:リソース効率に優れた特徴点マッチングのための軽量なアーキテクチャ「XFeat(Accelerated Features)」を提案します。手法は、局所的な特徴点の検出、抽出、マッチングのための畳み込みニューラルネットワークの基本的な設計を再検討します。特に、リソースが限られたデバイス向けに迅速かつ堅牢なアルゴリズムが必要とされるため、解像度を可能な限り高く保ちながら、ネットワークのチャネル数を制限します。さらに、スパース下でのマッチングを選択できる設計となっており、ナビゲーションやARなどのアプリケーションに適しています。XFeatは、高速かつ同等以上の精度を実現し、一般的なラップトップのCPU上でリアルタイムで動作します。
セル生産方式におけるロボットの活用には様々な問題があるが,その一つとして 3 体以上の物体の組み立てが挙げられる.一般に,複数物体を同時に組み立てる際は,対象の部品をそれぞれロボットアームまたは治具でそれぞれ独立に保持することで組み立てを遂行すると考えられる.ただし,この方法ではロボットアームや治具を部品数と同じ数だけ必要とし,部品数が多いほどコスト面や設置スペースの関係で無駄が多くなる.この課題に対して音𣷓らは組み立て対象物に働く接触力等の解析により,治具等で固定されていない対象物が組み立て作業中に運動しにくい状態となる条件を求めた.すなわち,環境中の非把持対象物のロバスト性を考慮して,組み立て作業条件を検討している.本研究ではこの方策に基づいて,複数物体の組み立て作業を単腕マニピュレータで実行することを目的とする.このとき,対象物のロバスト性を考慮することで,仮組状態の複数物体を同時に扱う手法を提案する.作業対象としてパイプジョイントの組み立てを挙げ,簡易な道具を用いることで単腕マニピュレータで複数物体を同時に把持できることを示す.さらに,作業成功率の向上のために RGB-D カメラを用いた物体の位置検出に基づくロボット制御及び動作計画を実装する.
This paper discusses assembly operations using a single manipulator and a parallel gripper to simultaneously
grasp multiple objects and hold the group of temporarily assembled objects. Multiple robots and jigs generally operate
assembly tasks by constraining the target objects mechanically or geometrically to prevent them from moving. It is
necessary to analyze the physical interaction between the objects for such constraints to achieve the tasks with a single
gripper. In this paper, we focus on assembling pipe joints as an example and discuss constraining the motion of the
objects. Our demonstration shows that a simple tool can facilitate holding multiple objects with a single gripper.
11. 文法的現象
• 文法的現象(統語現象) 文法以外の現象は
– 語を並べるときに生じる現象 対象外
(音韻・意味・形態など)
• 多くは各言語に固有
– 英語と日本語の文法的現象は全く異なる
文法的現象 説明
語順 SVO, 前置詞
一致 三単現の -s とその分布
格 格変化(he/himなど)とその分布
疑問文 助動詞倒置
DO支持 疑問文・否定文のDO挿入
wh移動 文頭の疑問詞(what/whoなど)
受動文 S V O => O be V-en by S
虚辞 意味を持たない it や there を主語に
主語繰り上げ It seems that S V => S seems to V
英語の文法的現象(一部)
20. 句構造文法
(生成文法 0.0)
• 「文法」を表現する道具がなかった
– 「句構造」と「句構造規則」を発明
S
範疇 説明
VP S 文または節
名詞
NP
N
NP V 動詞
P 前置詞
N V Det N 形容詞
A
D/Det 決定詞(冠詞)
~P ~句
This is a pen
21. 句構造規則
• Sからたどって、句構造を「生成」する
– 書き換え規則=句構造の枝分かれ
句構造規則
S S
S → NP VP
NP VP
VP VP → V NP
NP NP V NP
NP NP → N
N V NP
N V Det N N V Det N
NP → Det N
品詞 → 単語
This is a pen This is a pen
22. 句構造文法
仮説群
生得説、普遍文法、
句構造、……、
その言語の
=
文法
句構造規則 生成された
操作 文法的な文
(演算) 文全体
辞書 全て
a, is, pen, this,
……
∈
∈
S
This is a pen
VP
NP
NP
こうやって
N V Det N 言語を記述して
This is a pen いく
27. [[改訂]拡大]標準理論
(生成文法 1.x)
• 句構造文法に「変形規則」を導入
– 例:受動文を生成する「受動変形」
• 動詞ごとに受動文を生成する規則がいらなくなる
• 文法を現実的に構築可能に!
John calls Tom
句構造規則
で生成した
Tom is called by John 文を変形
28. 接辞繰り下げ変形 動詞ごとに過去・
完了・進行の規則を
用意しなくていい
• 助動詞(Aux)は時制・法・相(完了・進行)からなる
• 接辞(-ed や –ing)は「接辞繰り下げ変形」により直後の要素に付く
S 中村他「生成文法の新展開」(p39)より
NP Aux VP
N Tns Modal Perf Prog V
Mary [Pres] will have͡ en be͡ ing love
接辞繰り下げ変形
Mary will have been loving
35. Xバー理論 最初は ������と
書いていたけど、
印刷の都合で ������′ と
書くように
• 句構造規則に変わるもの
– X’ と書いて「Xバー」と読む
XP
• 右の XP ツリーが基本形
– X,Y,Z は範疇のテンプレート
• X,Y,Z = N, V, P, ……
YP X’
– Y, Z は空も可
X ZP
36. Xバーの構造例
X=I, Y=DP, Z=VP
IP
※) I は「屈折辞」(時制などを含む範疇)で
DP I’ Xバーでは文は IP で表すと仮定している
I VP X=V, Y= ∅, Z=DP
John V’
∅
X=D, Y= ∅, Z=NP
[Pres] V DP
∅ D’
love
構造は全て D NP
Xバーで
the dog
37. 句構造規則 vs. Xバー理論
• 句構造規則 • Xバー
S → NP VP XP → YP X'
VP → V NP X' → XP ZP
NP → N
NP → Det N – 1種類だけ!
: – 原理(共通ルール化)
にできる!
– いろんなパターン
38. α移動
• 変形規則に変わるもの
– αは「なんでもいい」の意味(テンプレート)
• 「任意の句を任意の位置に移動する」
– そんなんでいいの!?
John calls Tom
ダメでしょ
う……
calls Tom John
39. フゖルタ
• α移動で生成された「文」のうち、非文
法的な文を「フゖルタ」で制約する
– フゖルタは共通原理として仮定する
John calls Tom
α移動
John calls Tom フ John calls Tom
John Tom calls ィ
×
calls John Tom ル
calls Tome John タ
Tom John calls
Tom calls John
50. Bare Phrase Structure
(最小句構造、裸句構造)
• Xバー理論の N’ とか D’ とかって、「最小限
の条件」から説明つかないよね?
DP • そういう余計な情報は
D’ 一切加えない
D NP
N’ the
N
the book the book
Xバー理論 Bare Phrase Structure
54. 生成文法で愛をささやく
• I love you の構造を見てみよう
– 全部似てるけど、MP が一番シンプル?
– でもこれは時制などなどを考慮していない手抜き
S IP
love
VP I’
N N I VP
love
V N V N
I love you I love you I love you
標準理論 GB理論 ミニマリスト・プログラム
57. GB理論版
IP
DP I’
∅ D’ I VP
D NP ∅ V’
[Pres]
[] V NP
I
love you
58. ミニマリスト・プログラム版
IP
I’
N
I ������P
I ������’
[D] [EPP] tI
[Nom] [Nom]
[φ] [Pres]
������ VP
[φ] FF(you) ������ tlove NP
[Acc]
love ������
[Pres] you
[Acc]
65. じゃあ生成文法ってウソ?
• 機械学習諸分野で「真のモデル」や「真の分
布」って見たことあるの?
– 自分は持ってないのに、他の分野には「真のモデ
ル」を求めるなんて、ゕンフェゕだよね
• 言語学習分野では役に立っている
– 精緻に記述された英文法(標準理論ベース)
• 個人的にはおもしろければOK!
“Essentially, all models are wrong,
but some are useful.”
http://lingpipe-blog.com/2011/03/11/what-is-a-mathematical-model/
67. 参考文献
• 中島文雄「英語の構造」, 1980
• 中井悟/上田雅信「生成文法を学ぶ人のために」, 2004
• 大津由紀雄/他「言語研究入門 -生成文法を学ぶ人のために」, 2002
• A. ラドフォード「入門ミニマリスト統語論」, 2004/2006
• M. C. ベカー「言語のレシピ – 多様性にひそむ普遍性をもとめて」, 2001/2003
• M. D. Hauser/N. Chomsky/W. T. Fitch “The Faculty of Language: What Is It, Who Has It, and How Did It Evolve?”, 2002
• M. Tomasello “What kind of evidence could refute the UG hypothesis?”, 2004
• S. Pinker/R. Jackendoff “The faculty of language: what’s special about it?”, 2005
• S. Pinker “Language Instinct – How the Mind Creates Language”, 1994 (邦題「言語を生み出す本能」, 1995)
• 中村捷/金子義明/菊地朗「生成文法の新展開―ミニマリスト・プログラム」, 2001
• 山梨正明/有馬道子「現代言語学の潮流」, 2003
• 吉村公宏「はじめての認知言語学」, 2004
• J. R. テラー/瀬戸賢一「認知文法のエッセンス」, 2008
• 酒井邦嘉「言語の脳科学―脳はどのようにことばを生みだすか」, 2002
• N. Chomsky “The Minimalist Program”, 1995
• R. D. Levine/W. D. Meurers "Head-Driven Phrase Structure Grammar: Linguistic Approach, Formal Foundations, and
Computational Realization", 2006
• M. Tomasello “Language is Not an Instinct”, 1995