SlideShare a Scribd company logo
PRML上巻勉強会 at 東京大学
線形回帰モデル
東京大学
大学院情報理工学系研究科
電子情報学専攻 M2 尾崎安範
1
自己紹介
• 尾崎安範
• 経歴
– 豊田高専→名古屋大→東大院→
民間の研究所(予定)

• 研究分野
– 視線情報を用いたユーザ・インターフェース

• 興味
– コンピュータビジョン(画像認識など)
– データサイエンス(機械学習など)
2
趣味
• 一発ネタのプログラムを作ること
– 中学:RPGの制作のお手伝い
– 高専:音楽ゲームとアクションを合体したゲーム
• 10人以上で製作

– 大学:「オタクっぽい」というワードで顔画像検索
– 大学院:目と表情で初音ミクとコミュニケーション
– 詳しくはこちらへ
• http://www.hci.iis.u-tokyo.ac.jp/~ozakiy/

3
Twitter
• @alfredplpl
– プログラミング(RとPythonなど)と
変なネタをつぶやいてます
– よろしければフォローよろしくお願いします

4

Recommended for you

「統計的学習理論」第1章
「統計的学習理論」第1章「統計的学習理論」第1章
「統計的学習理論」第1章

金森敬文著「統計的学習理論」輪読セミナー第1回資料

PRML輪読#4
PRML輪読#4PRML輪読#4
PRML輪読#4

東京大学松尾研究室におけるPRML輪読資料です。

prml機械学習
変分ベイズ法の説明
変分ベイズ法の説明変分ベイズ法の説明
変分ベイズ法の説明

変分ベイズ法の説明。 最尤法との対比で説明した。また、EMアルゴリズムとの対応も述べられている。 職場の勉強会での資料です。

注意書き
• PRML本はわかりにくい!!
– 補足説明付けました
• 左下に補足かPRML本の内容かを書いておきます

• あと、線形回帰と線形回帰モデルは別物です
• わからなかったら適宜質問お願いします

補足

PRML

5
線形回帰ってなに?
• 以下の章立てで説明します
3 線形回帰モデル
3.1 線形基底関数モデル
3.1.1 最尤推定
3.1.2 最小二乗法の幾何学
3.1.3 逐次学習
3.1.4 正則化最小二乗法
3.1.5 出力変数型次元の場合
補足

6
線形回帰に入る前に準備
• PRML本の内容に入るまでちょっと長い
– 我慢して付き合ってください
– パターン認識とはそもそもから入ります

補足

7
パターン認識の主な体系
• 「機械が学習するタイミングで
正解を与えるかどうか」で2つに分かれる
– 教師なし学習(この章までPRMLでは主にこれを説明)
• 機械に正解を与えない学習方法
• 例
– クラスタリング
– 密度推定

– 教師あり学習
• 機械に正解を与える学習方法
• 例
– クラス分類
» 例:k-近傍法
– 回帰
» 例:線形回帰

補足

8

Recommended for you

猫でも分かるVariational AutoEncoder
猫でも分かるVariational AutoEncoder猫でも分かるVariational AutoEncoder
猫でも分かるVariational AutoEncoder

生成モデルとかをあまり知らない人にもなるべく分かりやすい説明を心がけたVariational AutoEncoderのスライド 実装と簡単な補足は以下を参照 http://sh-tatsuno.com/blog/index.php/2016/07/30/variationalautoencoder/

生成モデルganvae
PRML輪読#10
PRML輪読#10PRML輪読#10
PRML輪読#10

東京大学松尾研究室におけるPRML輪読資料です。

prml機械学習
[DL輪読会]Flow-based Deep Generative Models
[DL輪読会]Flow-based Deep Generative Models[DL輪読会]Flow-based Deep Generative Models
[DL輪読会]Flow-based Deep Generative Models

2019/03/08 Deep Learning JP: http://deeplearning.jp/seminar-2/

deep learning
線形回帰モデル
• 回帰問題を解くためのモデル
?

• 解析しやすい
• 解くのが簡単

9
回帰問題
• 与えられた情報から
未知の連続値を予測する問題
– 例:ダイヤモンドの重さに対する値段

値段

20カラットの値段は?
15.5カラットの値段は?
・・・

10
補足

重さに対しての値段
(既に知っている)

20

ダイヤモンドの重さ[カラット]

10
回帰問題をもっともらしく解いてみよう
• もっともらしく解いてみた(赤線)
– これでどんな重さでも値段がわかる!

値段

重さに対しての値段
(既に知っている)

10
補足

20

ダイヤモンドの重さ[カラット]

11
回帰問題の一般的な表現
• ダイヤモンドの例を一般化

(値段)

モデル

目標変数

観測値 ( , )
(既知、
重さに対しての値段)

10
補足

PRML

20

入力変数 (ダイヤモンドの重さ[カラット])

12

Recommended for you

深層学習による非滑らかな関数の推定
深層学習による非滑らかな関数の推定深層学習による非滑らかな関数の推定
深層学習による非滑らかな関数の推定

M.Imaizumi, K.Fukumizu, “Deep Neural Networks Learn Non-Smooth Functions Effectively”, http://arxiv.org/abs/1802.04474 の説明スライドです。

「3.1.2最小二乗法の幾何学」PRML勉強会4 @筑波大学 #prml学ぼう
「3.1.2最小二乗法の幾何学」PRML勉強会4 @筑波大学 #prml学ぼう 「3.1.2最小二乗法の幾何学」PRML勉強会4 @筑波大学 #prml学ぼう
「3.1.2最小二乗法の幾何学」PRML勉強会4 @筑波大学 #prml学ぼう

PRML勉強会 #4 @筑波大学 で tsujimotter が発表予定の資料です。 http://cs-cafe.connpass.com/event/14595/

mathematicsprml
機械学習のためのベイズ最適化入門
機械学習のためのベイズ最適化入門機械学習のためのベイズ最適化入門
機械学習のためのベイズ最適化入門

db analytics showcase Sapporo 2017 発表資料 http://www.db-tech-showcase.com/dbts/analytics

dbts2017dbasspr
線形回帰ってなに?
• 以下の章立てで説明します
3 線形回帰モデル
3.1 線形基底関数モデル
3.1.1 最尤推定
3.1.2 最小二乗法の幾何学
3.1.3 逐次学習
3.1.4 正則化最小二乗法
3.1.5 出力変数型次元の場合
補足

13
最も単純な線形回帰モデル
• 線形回帰
– ただのD次元の平面(通称:超平面)
バイアスパラメータ(切片)
重みベクトル(平面の傾きと切片に相当)

– シンプルだけど、表現能力は乏しい

PRML

盛大にずれている例

14
線形基底関数モデル
• 線形基底関数モデル
– 基底関数を線形結合した線形回帰モデル
• 出力は非線形にもなる

– 実用上は基底関数
関数にあたる

基底関数
(ただし、バイアスパラメータ
のために
とする)

は特徴抽出のための

• 例:文章中の単語jの出現回数
(たとえば、「線形」という単語の出現回数)

PRML

15
線形基底関数モデルの基底関数
• 以下、いっぱい基底関数が出てくるけど、
聞き流してもらえれば
– 別にニューラルネットとかカーネル法まで
覚える必要性はない

補足

16

Recommended for you

パターン認識と機械学習 §6.2 カーネル関数の構成
パターン認識と機械学習 §6.2 カーネル関数の構成パターン認識と機械学習 §6.2 カーネル関数の構成
パターン認識と機械学習 §6.2 カーネル関数の構成

2013/3/10(日) @株式会社VOYAGE GROUP セミナールーム Pangea

prml prmlrevenge pattern recognition machine learn
[DL輪読会]Scalable Training of Inference Networks for Gaussian-Process Models
[DL輪読会]Scalable Training of Inference Networks for Gaussian-Process Models[DL輪読会]Scalable Training of Inference Networks for Gaussian-Process Models
[DL輪読会]Scalable Training of Inference Networks for Gaussian-Process Models

2019/09/06 Deep Learning JP: http://deeplearning.jp/seminar-2/

deep learning
深層学習の数理:カーネル法, スパース推定との接点
深層学習の数理:カーネル法, スパース推定との接点深層学習の数理:カーネル法, スパース推定との接点
深層学習の数理:カーネル法, スパース推定との接点

MIRU2020チュートリアル講演資料

深層学習機械学習deep learning
さまざまな基底関数(1/4)
• 多項式
– 1章の線形回帰の例に使われたモデルがこれ

1章の線形回帰(j=[0,9]のとき)
PRML

いろいろなjでの
17
さまざまな基底関数(2/4)
• ガウス基底関数(別称:RBF[付録?])

– ただのガウス関数
– カーネル法、特に非線形SVMによく使われる

y

PRML

0.0

0.1

0.2

0.3

0.4

• 下巻6.4.1節「線形回帰再訪」参照

-3

-2

-1

0

1

2

3

x

正規分布の確率密度関数

いろいろなjでの

18
さまざまな基底関数(3/4)
• シグモイド基底関数
– ただし、σはロジスティックシグモイド関数

0.6
0.4
0.2
0.0

PRML

function(x) 1/(1 + exp(-x))

0.8

1.0

– ニューラルネットでよく使われる

-4

-2

0

2

4

x

ロジスティックシグモイド関数

いろいろなjでの

19
さまざまな基底関数(4/4)
• フーリエ基底
– exp(2πi)みたいな感じ
– フーリエ変換で使うため、いろいろ使われる

• ウェーブレット基底
– sinc関数(sin(x)/x)など
– 画像形式の1つJpeg2000とかで使う

補足

PRML

20

Recommended for you

ようやく分かった!最尤推定とベイズ推定
ようやく分かった!最尤推定とベイズ推定ようやく分かった!最尤推定とベイズ推定
ようやく分かった!最尤推定とベイズ推定

最尤推定やベイズ推定の基本がようやく理解できたため,かみ砕いて説明したプレゼンを作りました.

ベイズ推定 最尤推定
PRML学習者から入る深層生成モデル入門
PRML学習者から入る深層生成モデル入門PRML学習者から入る深層生成モデル入門
PRML学習者から入る深層生成モデル入門

ゼミで発表した資料です。間違っていたらTwitterに連絡ください。@ottamm_190

deep generative model深層生成モデルvae
Prml 1.3~1.6 ver3
Prml 1.3~1.6 ver3Prml 1.3~1.6 ver3
Prml 1.3~1.6 ver3

12/09/25 w8prml 学習会 パターン認識と機械学習 上 1.3節~1.6節 申し訳ありませんが、字の大きさが変になって改行がおかしかったり、式に画像データを使ってる部分がぼやけ気味だったりします。 (9/25)いくつか再び訂正をしましたので再アップします。主な修正箇所は (P28)効用関数最小化→最大化 (P51) log(24)/log(3)=log(8)=3 → log(24)/log(3)=2.892789.... (P57) 右下枠内のエントロピー低・高が逆だったのを訂正。 ・・・以上となります。

線形回帰ってなに?
• 以下の章立てで説明します
3 線形回帰モデル
3.1 線形基底関数モデル
3.1.1 最尤推定
3.1.2 最小二乗法の幾何学
3.1.3 逐次学習
3.1.4 正則化最小二乗法
3.1.5 出力変数型次元の場合
補足

21
線形回帰モデルをもっともらしく推定
• 線形回帰モデルの最尤推定を
最小二乗法を使って解く
– つまり、下図の赤線がモデルで
青点が観測値なら
緑線の長さの合計を短くするようなモデルの
パラメータを探す

補足

22
最尤推定の準備(1/2)
• 目標変数tをモデルにノイズが乗ると仮定
ガウシアンノイズεはN(0,β^-1)に従う
(ただし、パラメータβは精度とする)

• なので、目標変数tが1つの場合、

PRML

23
最尤推定の準備(2/2)
• データセット(データ集合)「Xとt」を用意
入力変数
入力変数に対する目標値

• 各データセットは独立にサンプルされたと
仮定すると尤度関数は

注:独立性がある確率の乗法定理です
PRML

24

Recommended for you

【解説】 一般逆行列
【解説】 一般逆行列【解説】 一般逆行列
【解説】 一般逆行列

学生向けの解説

数学一般逆行列
クラシックな機械学習入門:付録:よく使う線形代数の公式
クラシックな機械学習入門:付録:よく使う線形代数の公式クラシックな機械学習入門:付録:よく使う線形代数の公式
クラシックな機械学習入門:付録:よく使う線形代数の公式

機械学習でよく使う線形代数の公式です。行列やlog行列式の微分、逆行列の微分、2次形式のtraceでの記述、ブロック行列の逆行列などの公式が書かれています。

行列行列式微分
線形?非線形?
線形?非線形?線形?非線形?
線形?非線形?

機械学習に関して「線形な学習機より非線形な学習機の方がよい」という誤解が根強い。 モデルの表現力は確かに非線形版の方が高い。 が、トレードオフとして必要なデータ量も多い。 実際に少ないデータ量で非線形版を使うと何が起こるのか回帰を題材に実験して確認する。

線形回帰モデルの最尤推定
• 尤度関数にある
「正規分布の確率密度関数」の指数関数
が邪魔なので、対数をとる

モデルと観測値の二乗誤差

PRML

25
もっともらしさを最大化(1/2)
• まず重みベクトルwに関して尤度を最大化
– 重みは誤差の項にしかないので、
尤度を最大化⇔誤差を最小化

ここが0になるw
とは?

展開

PRML

26
もっともらしさを最大化(2/2)

• (続き)Φを式3.16とおき、式3.14をwについて
とくと、式3.15になる。

計画行列

PRML

最小二乗法の正規方程式

27
擬似逆行列
• 正規方程式をもっとシンプルに表現

と定義し、
代入

•

をムーア・ペンローズの擬似逆行列という
PRML

28

Recommended for you

SGD+α: 確率的勾配降下法の現在と未来
SGD+α: 確率的勾配降下法の現在と未来SGD+α: 確率的勾配降下法の現在と未来
SGD+α: 確率的勾配降下法の現在と未来

SGDの最新の拡張手法を紹介: Importance-aware UpdateやNormalized Online Learningなど.SGD+αはここまで出来る!

machine learningstochastic gradient descentsgd
正則化つき線形モデル(「入門機械学習第6章」より)
正則化つき線形モデル(「入門機械学習第6章」より)正則化つき線形モデル(「入門機械学習第6章」より)
正則化つき線形モデル(「入門機械学習第6章」より)
勾配降下法の 最適化アルゴリズム
勾配降下法の最適化アルゴリズム勾配降下法の最適化アルゴリズム
勾配降下法の 最適化アルゴリズム

モメンタム、Nesterov accelerated gradientとAdagrad, Adadelta, Adamについて解説しました。

deep leaning
バイアスパラメータの役割
• バイアスパラメータ
って要るの?
• バイアスパラメータを図で見る
– 赤線:
– 緑線:

がある線形回帰
がない線形回帰

すごくずれてる!
原点

バイアスパラメータ要ります
補足

PRML

29
バイアスパラメータを数式で理解
• 誤差関数をw0について着目

• 誤差の微分が0であるときに、
w0に関して解く

PRML

バイアスパラメータは目標値の平均と基底関数の平均とのズレを
30
吸収してくれる
線形回帰モデルの最尤推定
• 忘れかけてた精度βに関して
誤差を最小化すると以下が得られる

– 精度の最尤推定結果を図で言うと、
「緑線(残差)の分散」の逆数

補足

PRML

31
線形回帰ってなに?
• 以下の章立てで説明します
3 線形回帰モデル
3.1 線形基底関数モデル
3.1.1 最尤推定
3.1.2 最小二乗法の幾何学
3.1.3 逐次学習
3.1.4 正則化最小二乗法
3.1.5 出力変数型次元の場合
補足

32

Recommended for you

Kaggleのテクニック
KaggleのテクニックKaggleのテクニック
Kaggleのテクニック

Kaggleのあるコンテンストの優勝者が作ったモデルをケーススタディとして、kaggleテクニックを解説します。特にStackingを中心に解説しています。CNNにはあえて触れませんでした。また、t-SNEやxgboostの概略にも触れました。

kagglemachine learningstacking
機械学習プロフェッショナルシリーズ 深層学習 chapter3 確率的勾配降下法
機械学習プロフェッショナルシリーズ 深層学習 chapter3 確率的勾配降下法機械学習プロフェッショナルシリーズ 深層学習 chapter3 確率的勾配降下法
機械学習プロフェッショナルシリーズ 深層学習 chapter3 確率的勾配降下法

ゼミ発表用に作成した機械学習プロフェッショナルシリーズ(MLP) 深層学習 第3章 「確率的勾配降下法」まとめスライドです.Deep learning初学者を対象としています.

machine learning
Probabilistic Graphical Models 輪読会 #1
Probabilistic Graphical Models 輪読会 #1Probabilistic Graphical Models 輪読会 #1
Probabilistic Graphical Models 輪読会 #1

グラフィカルモデル輪読会での発表資料です。 http://wbawakate.connpass.com/event/31613/

machine learningstatistics
最小二乗法の幾何学(準備)(1/2)
• 最小二乗法で求めた結果の意味を
図で考えてみよう

モデルで
予測した結果

モデルy(x,w)

y(x1,w)

モデルy(x,w)

t1

t1
x1

補足

t

t

– モデルでy(x,w)=w0として求めた結果
y = yx1 , w, yx 2 , w , , yx N , w  とはなにか?

x

x1

x
33
最小二乗法の幾何学(準備) (2/2)
• 視点を変えてみよう
– 例えば、観測値を軸にして考えてみよう

y(x1,w)

モデルy(x,w)

t1
x1
補足

x

t1の軸

t

• モデルyはパラメータwをどう変えても、
部分空間S上にしか動けない
• 最小二乗法とは部分空間S上で一番観測値に
近くなる(誤差が少ない)ようにモデルのパラメータを
部分空間
選ぶこと
予測値
y=(y(x1,w),
y(x2,w))

 0  w0 , w0 

S  0

観測値
t=(t1,t2)
t2の軸

34
最小二乗法の幾何学
• 最小二乗法を図で考えてみよう
– 最小二乗法で求めた結果y = yx1 , w, yx 2 , w,, yx N , w
とはなにか?
• 観測値を軸とした空間を考える
• モデルの予測値を軸とした部分空間Sの中で
観測値tに一番近い位置ベクトル

≡
PRML

35
擬似逆行列がとけない場合は?
ここが正則でなさそうな場合、
すなわち、行列式が0に近い場合、
逆行列を求めにくい!

特異値分解(SVD)で解くか正則化項(3.1.4節)
を加えよう

PRML

36

Recommended for you

画像処理分野における研究事例紹介
画像処理分野における研究事例紹介画像処理分野における研究事例紹介
画像処理分野における研究事例紹介

音響学会関西支部談話会

Coursera "Neural Networks"
Coursera "Neural Networks"Coursera "Neural Networks"
Coursera "Neural Networks"

Courseraで公開されている、Andrew Ng氏の機械学習e-ラーニング講義、4週目"Neural Networks"の内容の要約・個人的な理解内容の紹介です。 これは上記内容をあらかじめ視聴した方向けに作成したものです。また、輪講資料として作成したため、プレゼン単体だとつながりがわかりにくいと思われる点があるかと思います。

machine learningcouorseraneural network
線形回帰ってなに?
• 以下の章立てで説明します
3 線形回帰モデル
3.1 線形基底関数モデル
3.1.1 最尤推定
3.1.2 最小二乗法の幾何学
3.1.3 逐次学習
3.1.4 正則化最小二乗法
3.1.5 出力変数型次元の場合
補足

37
オンライン学習(逐次学習)に
必要な前知識
• 最急降下法
– 坂を下っていくように初期値近くの極値に
向かってパラメータを収束させていく方法
誤差関数の
パラメータ

誤差関数など
のグラフ

補足

パラメータ
更新

パラメータ
更新

止まったので収束!
38
線形回帰モデルの
オンライン学習
• 確率的最急降下法で重みwを更新しよう
– 誤差が収束するように重みwを更新
学習率パラメータ
(学習を加速させるパラメータ、
大きくすると重みが収束しなくなる)

各パターンnに対する誤差関数

– 3.1.1節で出てきた誤差
を代入すると
PRML

以上を最小平均二乗アルゴリズム(LMSアルゴリズム)という
39
線形回帰ってなに?
• 以下の章立てで説明します
3 線形回帰モデル
3.1 線形基底関数モデル
3.1.1 最尤推定
3.1.2 最小二乗法の幾何学
3.1.3 逐次学習
3.1.4 正則化最小二乗法
3.1.5 出力変数型次元の場合
補足

40

Recommended for you

東大大学院 電子情報学特論講義資料「深層学習概論と理論解析の課題」大野健太
東大大学院 電子情報学特論講義資料「深層学習概論と理論解析の課題」大野健太東大大学院 電子情報学特論講義資料「深層学習概論と理論解析の課題」大野健太
東大大学院 電子情報学特論講義資料「深層学習概論と理論解析の課題」大野健太

2020年4月6日 東京大学大学院 電子情報学特論Ⅰでの講義資料を公開します。(2-1) 「深層学習概論と理論解析の課題」大野健太 https://www.eidos.ic.i.u-tokyo.ac.jp/~tau/lecture/tokuron/

深層学習deep learningpfn
kagamicomput201801
kagamicomput201801kagamicomput201801
kagamicomput201801

kagamicomput201801

computer architectureboolean algebradigital circuit
正則化最小二乗法
• 過学習を防ぐため最小二乗法を拡張
– 誤差

に正則化項

を加える(1.1節)

誤差と正則化項の
相対的な重要度
(実験的に決める)

を代入

PRML

41
最小二乗法の拡張としているわけ
• 正則化最小二乗法でwについて解くと、

• 最小二乗法の解と似ている

補足

PRML

42
正則化項の一般化
• 正則化項をよく見ると、
M

w w   wj
T

2

j 1

• 2乗をqで置き換えて一般化しよう
– なんで一般化するの?[本スライドの付録]

PRML

43
いろいろな正規化項のqとグラフ
• 正規化項のqを変化させて
M=2のとき、グラフにすると以下になる

M

w
j 1

q
j

Rで描いた三次元グラフ

補足

PRML

等高線の形(三次元グラフを横で切った形)

44

Recommended for you

2012-06-15-トピックを考慮したソーシャルネットワーク上の情報拡散モデル
2012-06-15-トピックを考慮したソーシャルネットワーク上の情報拡散モデル2012-06-15-トピックを考慮したソーシャルネットワーク上の情報拡散モデル
2012-06-15-トピックを考慮したソーシャルネットワーク上の情報拡散モデル

JSAI2012発表

[conference]
チュートリアルのススメ -チュートリアルのためのチュートリアル-
チュートリアルのススメ -チュートリアルのためのチュートリアル-チュートリアルのススメ -チュートリアルのためのチュートリアル-
チュートリアルのススメ -チュートリアルのためのチュートリアル-

MIRU2010若手プログラムで話した内容です。 堀田先生によるチュートリアルと併せてご覧頂けると幸いです。 http://www.slideshare.net/seijihotta/wakate-24405415

tutorial
第18回コンピュータビジョン勉強会@関東「ICCV祭り」発表資料(kanejaki)
第18回コンピュータビジョン勉強会@関東「ICCV祭り」発表資料(kanejaki)第18回コンピュータビジョン勉強会@関東「ICCV祭り」発表資料(kanejaki)
第18回コンピュータビジョン勉強会@関東「ICCV祭り」発表資料(kanejaki)
lasso
• q=1の時、特にlasso(ラッソ)という
– スパース(疎)な解が得られやすいため
たまに話題にでる
• スパースだといらない次元が0になるため、
要る次元といらない次元がわかりやすい
– c.f. パラメータ縮小推定、荷重減衰

PRML

45
lassoで解くと
スパースな解になる理由(1/2)
• 正則化されていない誤差の最短距離に
最適なパラメータベクトルになる
誤差の等高線

q=2のとき
PRML

q=1のとき

w*:最適なパラメータベクトル
46
lassoで解くと
スパースな解になる理由(2/2)
• スパースになる領域がlassoは広い!
ここに誤差の極値が
入っていれば
解がスパースになる領域
になるという例
(誤差関数とλ次第)

誤差の等高線

q=2のとき
補足

PRML

q=1のとき

w*:最適なパラメータベクトル
47
実際に最小化の過程を見てみよう

t

• Xとtが図のように与えられているとする

補足

x
48

Recommended for you

日曜数学会 Ofdm
日曜数学会 Ofdm日曜数学会 Ofdm
日曜数学会 Ofdm

日曜数学会 OFDMの基本原理とその商用化

engineeringintroductiontélécommunications
確率的深層学習における中間層の改良と高性能学習法の提案
確率的深層学習における中間層の改良と高性能学習法の提案確率的深層学習における中間層の改良と高性能学習法の提案
確率的深層学習における中間層の改良と高性能学習法の提案

修論公聴会に使った資料

statisticsboltzmann machine機械学習
機械学習 入門
機械学習 入門機械学習 入門
機械学習 入門

学部初級生向けの機械学習入門資料

機械学習
q=2のときの最小化
誤差関数

正則化項

λ
点(w0=?,w1=?)のあたりで
最適解になっている
どうみてもスパースでない

補足

最小化する式

w0
w1

49
lassoのときの最小化
誤差関数

正則化項

λ
点(w0=0,w1=?)のあたりで
最小化できている
たしかにスパース
w0
w1
補足

最小化する式

50
lassoがスパースな解を出力する理由
• 数式的な意味は演習で証明してください
– 誤差関数の制約付き最小化問題なので、
ラグランジュの未定乗数法を使うと解けます

PRML

51
線形回帰ってなに?
• 以下の章立てで説明します
3 線形回帰モデル
3.1 線形基底関数モデル
3.1.1 最尤推定
3.1.2 最小二乗法の幾何学
3.1.3 逐次学習
3.1.4 正則化最小二乗法
3.1.5 出力変数型次元の場合
補足

52

Recommended for you

3次元レジストレーション(PCLデモとコード付き)
3次元レジストレーション(PCLデモとコード付き)3次元レジストレーション(PCLデモとコード付き)
3次元レジストレーション(PCLデモとコード付き)

3次元点群に対するレジストレーション(位置合わせ)手法について解説する。 3次元レジストレーション手法の概要の把握。 ICP程度の手法を実装できるスキルの取得。 1. レジストレーションとは:2次元のレジストレーションの例から始めて,3次元レジストレーションの基礎を学ぶ。最小二乗法,最適化,Procrustes analysis 2. ICPとその変種:基本的なアルゴリズムであるICP(Iterative Closest Point)と,その拡張を学ぶ。ICP,Softassign,EM-ICP 3.さまざまなレジストレーション手法を学ぶ.剛体レジストレーション,非剛体レジストレーション

3d point cloud3d registrationレジストレーション
第126回 ロボット工学セミナー 三次元点群と深層学習
第126回 ロボット工学セミナー 三次元点群と深層学習第126回 ロボット工学セミナー 三次元点群と深層学習
第126回 ロボット工学セミナー 三次元点群と深層学習

2020/05/22に開催された,日本ロボット学会 第126回ロボット工学セミナー「ロボットのための画像処理技術」の第4話「三次元点群と深層学習」の発表資料です. 図等を各論文から引用しています.間違いなどあればご指摘頂けるとありがたいです. https://www.rsj.or.jp/event/seminar/news/2020/s126.html

実践コンピュータビジョン 3章 画像間の写像
実践コンピュータビジョン 3章 画像間の写像実践コンピュータビジョン 3章 画像間の写像
実践コンピュータビジョン 3章 画像間の写像

静岡Developes勉強会 コンピュータビジョンvol3用の資料となります。

コンピュータビジョン 射影変換 ホモ
出力変数が多次元の場合(結論)
• 目標変数が多次元のときは
各次元で独立に一次元の場合と同じに解ける
• でも、基底関数を各次元で統一すると
計算量を減らすことができる
– 目標変数を

k次元目の重み

k次元目の観測値

– ただし、擬似逆行列は各次元で同じなため
使い回しができる
PRML

53
参考文献
• PRML(サポートページ含む)
– http://research.microsoft.com/enus/um/people/cmbishop/PRML/

• Wikipedia
• 朱鷺の杜Wiki
– http://ibisforest.org/index.php?FrontPage

• Coursera: Machine Learning
– https://www.coursera.org/course/ml
54
参考文献
• 最小化のテストデータ生成に使った
– http://aoki2.si.gunma-u.ac.jp/R/gendat2.html

55
付録:ノルム
• 空間中の2点の長さはいろいろ決めることができる
– マンハッタン距離: x

2

 y2 

1/ 2

– ユークリッド距離:  x  y 

1/1

• 長さを一般化しよう!


 xj

 j

p






1/ p

– ノルムという概念
– pを固定したとき、特にL-pノルムという
• マンハッタン距離=L-1ノルム
• ユークリッド距離=L-2ノルム

• 正則化項を一般化しよう!
– L-1ノルムで重みを正規化→L1正規化(lasso)
– L-2ノルムで重みを正規化→L2正規化
56

Recommended for you

Simulation_Report1
Simulation_Report1Simulation_Report1
Simulation_Report1

Systematic & Monte Carlo on VBA (Excel)

 
by T2C_
東大計数特別講義20130528
東大計数特別講義20130528東大計数特別講義20130528
東大計数特別講義20130528

2013年5月28日本郷での特別講義資料(一部修正)

bayesian networksprobabilistic latent semantic analysisサービス工学
JOI春季ステップアップセミナー 2021 講義スライド
JOI春季ステップアップセミナー 2021 講義スライドJOI春季ステップアップセミナー 2021 講義スライド
JOI春季ステップアップセミナー 2021 講義スライド

アルゴリズムを学ぶ中学生・高校生のための勉強会セミナー (JOI 春季ステップアップセミナー 2021) で講義した資料です! 『アルゴリズムを学ぶとどんな世界が広がるか 〜 グラフを中心として 〜』 セミナーページ:https://www.ioi-jp.org/seminar/2020/spring-semi.html

アルゴリズムalgorithmグラフ理論

More Related Content

What's hot

PRML輪読#3
PRML輪読#3PRML輪読#3
PRML輪読#3
matsuolab
 
ノンパラベイズ入門の入門
ノンパラベイズ入門の入門ノンパラベイズ入門の入門
ノンパラベイズ入門の入門
Shuyo Nakatani
 
ベイズ統計学の概論的紹介
ベイズ統計学の概論的紹介ベイズ統計学の概論的紹介
ベイズ統計学の概論的紹介
Naoki Hayashi
 
「統計的学習理論」第1章
「統計的学習理論」第1章「統計的学習理論」第1章
「統計的学習理論」第1章
Kota Matsui
 
PRML輪読#4
PRML輪読#4PRML輪読#4
PRML輪読#4
matsuolab
 
変分ベイズ法の説明
変分ベイズ法の説明変分ベイズ法の説明
変分ベイズ法の説明
Haruka Ozaki
 
猫でも分かるVariational AutoEncoder
猫でも分かるVariational AutoEncoder猫でも分かるVariational AutoEncoder
猫でも分かるVariational AutoEncoder
Sho Tatsuno
 
PRML輪読#10
PRML輪読#10PRML輪読#10
PRML輪読#10
matsuolab
 
[DL輪読会]Flow-based Deep Generative Models
[DL輪読会]Flow-based Deep Generative Models[DL輪読会]Flow-based Deep Generative Models
[DL輪読会]Flow-based Deep Generative Models
Deep Learning JP
 
深層学習による非滑らかな関数の推定
深層学習による非滑らかな関数の推定深層学習による非滑らかな関数の推定
深層学習による非滑らかな関数の推定
Masaaki Imaizumi
 
「3.1.2最小二乗法の幾何学」PRML勉強会4 @筑波大学 #prml学ぼう
「3.1.2最小二乗法の幾何学」PRML勉強会4 @筑波大学 #prml学ぼう 「3.1.2最小二乗法の幾何学」PRML勉強会4 @筑波大学 #prml学ぼう
「3.1.2最小二乗法の幾何学」PRML勉強会4 @筑波大学 #prml学ぼう
Junpei Tsuji
 
機械学習のためのベイズ最適化入門
機械学習のためのベイズ最適化入門機械学習のためのベイズ最適化入門
機械学習のためのベイズ最適化入門
hoxo_m
 
パターン認識と機械学習 §6.2 カーネル関数の構成
パターン認識と機械学習 §6.2 カーネル関数の構成パターン認識と機械学習 §6.2 カーネル関数の構成
パターン認識と機械学習 §6.2 カーネル関数の構成
Prunus 1350
 
[DL輪読会]Scalable Training of Inference Networks for Gaussian-Process Models
[DL輪読会]Scalable Training of Inference Networks for Gaussian-Process Models[DL輪読会]Scalable Training of Inference Networks for Gaussian-Process Models
[DL輪読会]Scalable Training of Inference Networks for Gaussian-Process Models
Deep Learning JP
 
深層学習の数理:カーネル法, スパース推定との接点
深層学習の数理:カーネル法, スパース推定との接点深層学習の数理:カーネル法, スパース推定との接点
深層学習の数理:カーネル法, スパース推定との接点
Taiji Suzuki
 
ようやく分かった!最尤推定とベイズ推定
ようやく分かった!最尤推定とベイズ推定ようやく分かった!最尤推定とベイズ推定
ようやく分かった!最尤推定とベイズ推定
Akira Masuda
 
PRML学習者から入る深層生成モデル入門
PRML学習者から入る深層生成モデル入門PRML学習者から入る深層生成モデル入門
PRML学習者から入る深層生成モデル入門
tmtm otm
 
Prml 1.3~1.6 ver3
Prml 1.3~1.6 ver3Prml 1.3~1.6 ver3
Prml 1.3~1.6 ver3
Toshihiko Iio
 
【解説】 一般逆行列
【解説】 一般逆行列【解説】 一般逆行列
【解説】 一般逆行列
Kenjiro Sugimoto
 
クラシックな機械学習入門:付録:よく使う線形代数の公式
クラシックな機械学習入門:付録:よく使う線形代数の公式クラシックな機械学習入門:付録:よく使う線形代数の公式
クラシックな機械学習入門:付録:よく使う線形代数の公式
Hiroshi Nakagawa
 

What's hot (20)

PRML輪読#3
PRML輪読#3PRML輪読#3
PRML輪読#3
 
ノンパラベイズ入門の入門
ノンパラベイズ入門の入門ノンパラベイズ入門の入門
ノンパラベイズ入門の入門
 
ベイズ統計学の概論的紹介
ベイズ統計学の概論的紹介ベイズ統計学の概論的紹介
ベイズ統計学の概論的紹介
 
「統計的学習理論」第1章
「統計的学習理論」第1章「統計的学習理論」第1章
「統計的学習理論」第1章
 
PRML輪読#4
PRML輪読#4PRML輪読#4
PRML輪読#4
 
変分ベイズ法の説明
変分ベイズ法の説明変分ベイズ法の説明
変分ベイズ法の説明
 
猫でも分かるVariational AutoEncoder
猫でも分かるVariational AutoEncoder猫でも分かるVariational AutoEncoder
猫でも分かるVariational AutoEncoder
 
PRML輪読#10
PRML輪読#10PRML輪読#10
PRML輪読#10
 
[DL輪読会]Flow-based Deep Generative Models
[DL輪読会]Flow-based Deep Generative Models[DL輪読会]Flow-based Deep Generative Models
[DL輪読会]Flow-based Deep Generative Models
 
深層学習による非滑らかな関数の推定
深層学習による非滑らかな関数の推定深層学習による非滑らかな関数の推定
深層学習による非滑らかな関数の推定
 
「3.1.2最小二乗法の幾何学」PRML勉強会4 @筑波大学 #prml学ぼう
「3.1.2最小二乗法の幾何学」PRML勉強会4 @筑波大学 #prml学ぼう 「3.1.2最小二乗法の幾何学」PRML勉強会4 @筑波大学 #prml学ぼう
「3.1.2最小二乗法の幾何学」PRML勉強会4 @筑波大学 #prml学ぼう
 
機械学習のためのベイズ最適化入門
機械学習のためのベイズ最適化入門機械学習のためのベイズ最適化入門
機械学習のためのベイズ最適化入門
 
パターン認識と機械学習 §6.2 カーネル関数の構成
パターン認識と機械学習 §6.2 カーネル関数の構成パターン認識と機械学習 §6.2 カーネル関数の構成
パターン認識と機械学習 §6.2 カーネル関数の構成
 
[DL輪読会]Scalable Training of Inference Networks for Gaussian-Process Models
[DL輪読会]Scalable Training of Inference Networks for Gaussian-Process Models[DL輪読会]Scalable Training of Inference Networks for Gaussian-Process Models
[DL輪読会]Scalable Training of Inference Networks for Gaussian-Process Models
 
深層学習の数理:カーネル法, スパース推定との接点
深層学習の数理:カーネル法, スパース推定との接点深層学習の数理:カーネル法, スパース推定との接点
深層学習の数理:カーネル法, スパース推定との接点
 
ようやく分かった!最尤推定とベイズ推定
ようやく分かった!最尤推定とベイズ推定ようやく分かった!最尤推定とベイズ推定
ようやく分かった!最尤推定とベイズ推定
 
PRML学習者から入る深層生成モデル入門
PRML学習者から入る深層生成モデル入門PRML学習者から入る深層生成モデル入門
PRML学習者から入る深層生成モデル入門
 
Prml 1.3~1.6 ver3
Prml 1.3~1.6 ver3Prml 1.3~1.6 ver3
Prml 1.3~1.6 ver3
 
【解説】 一般逆行列
【解説】 一般逆行列【解説】 一般逆行列
【解説】 一般逆行列
 
クラシックな機械学習入門:付録:よく使う線形代数の公式
クラシックな機械学習入門:付録:よく使う線形代数の公式クラシックな機械学習入門:付録:よく使う線形代数の公式
クラシックな機械学習入門:付録:よく使う線形代数の公式
 

Viewers also liked

線形?非線形?
線形?非線形?線形?非線形?
線形?非線形?
nishio
 
SGD+α: 確率的勾配降下法の現在と未来
SGD+α: 確率的勾配降下法の現在と未来SGD+α: 確率的勾配降下法の現在と未来
SGD+α: 確率的勾配降下法の現在と未来
Hidekazu Oiwa
 
正則化つき線形モデル(「入門機械学習第6章」より)
正則化つき線形モデル(「入門機械学習第6章」より)正則化つき線形モデル(「入門機械学習第6章」より)
正則化つき線形モデル(「入門機械学習第6章」より)
Eric Sartre
 
勾配降下法の 最適化アルゴリズム
勾配降下法の最適化アルゴリズム勾配降下法の最適化アルゴリズム
勾配降下法の 最適化アルゴリズム
nishio
 
Kaggleのテクニック
KaggleのテクニックKaggleのテクニック
Kaggleのテクニック
Yasunori Ozaki
 
機械学習プロフェッショナルシリーズ 深層学習 chapter3 確率的勾配降下法
機械学習プロフェッショナルシリーズ 深層学習 chapter3 確率的勾配降下法機械学習プロフェッショナルシリーズ 深層学習 chapter3 確率的勾配降下法
機械学習プロフェッショナルシリーズ 深層学習 chapter3 確率的勾配降下法
zakktakk
 

Viewers also liked (6)

線形?非線形?
線形?非線形?線形?非線形?
線形?非線形?
 
SGD+α: 確率的勾配降下法の現在と未来
SGD+α: 確率的勾配降下法の現在と未来SGD+α: 確率的勾配降下法の現在と未来
SGD+α: 確率的勾配降下法の現在と未来
 
正則化つき線形モデル(「入門機械学習第6章」より)
正則化つき線形モデル(「入門機械学習第6章」より)正則化つき線形モデル(「入門機械学習第6章」より)
正則化つき線形モデル(「入門機械学習第6章」より)
 
勾配降下法の 最適化アルゴリズム
勾配降下法の最適化アルゴリズム勾配降下法の最適化アルゴリズム
勾配降下法の 最適化アルゴリズム
 
Kaggleのテクニック
KaggleのテクニックKaggleのテクニック
Kaggleのテクニック
 
機械学習プロフェッショナルシリーズ 深層学習 chapter3 確率的勾配降下法
機械学習プロフェッショナルシリーズ 深層学習 chapter3 確率的勾配降下法機械学習プロフェッショナルシリーズ 深層学習 chapter3 確率的勾配降下法
機械学習プロフェッショナルシリーズ 深層学習 chapter3 確率的勾配降下法
 

Similar to PRMLの線形回帰モデル(線形基底関数モデル)

Probabilistic Graphical Models 輪読会 #1
Probabilistic Graphical Models 輪読会 #1Probabilistic Graphical Models 輪読会 #1
Probabilistic Graphical Models 輪読会 #1
Takuma Yagi
 
画像処理分野における研究事例紹介
画像処理分野における研究事例紹介画像処理分野における研究事例紹介
画像処理分野における研究事例紹介
nlab_utokyo
 
Coursera "Neural Networks"
Coursera "Neural Networks"Coursera "Neural Networks"
Coursera "Neural Networks"
hayashizaki takaaki
 
東大大学院 電子情報学特論講義資料「深層学習概論と理論解析の課題」大野健太
東大大学院 電子情報学特論講義資料「深層学習概論と理論解析の課題」大野健太東大大学院 電子情報学特論講義資料「深層学習概論と理論解析の課題」大野健太
東大大学院 電子情報学特論講義資料「深層学習概論と理論解析の課題」大野健太
Preferred Networks
 
kagamicomput201801
kagamicomput201801kagamicomput201801
kagamicomput201801
swkagami
 
2012-06-15-トピックを考慮したソーシャルネットワーク上の情報拡散モデル
2012-06-15-トピックを考慮したソーシャルネットワーク上の情報拡散モデル2012-06-15-トピックを考慮したソーシャルネットワーク上の情報拡散モデル
2012-06-15-トピックを考慮したソーシャルネットワーク上の情報拡散モデル
Yuya Yoshikawa
 
チュートリアルのススメ -チュートリアルのためのチュートリアル-
チュートリアルのススメ -チュートリアルのためのチュートリアル-チュートリアルのススメ -チュートリアルのためのチュートリアル-
チュートリアルのススメ -チュートリアルのためのチュートリアル-
Hironobu Fujiyoshi
 
第18回コンピュータビジョン勉強会@関東「ICCV祭り」発表資料(kanejaki)
第18回コンピュータビジョン勉強会@関東「ICCV祭り」発表資料(kanejaki)第18回コンピュータビジョン勉強会@関東「ICCV祭り」発表資料(kanejaki)
第18回コンピュータビジョン勉強会@関東「ICCV祭り」発表資料(kanejaki)
kanejaki
 
日曜数学会 Ofdm
日曜数学会 Ofdm日曜数学会 Ofdm
日曜数学会 Ofdm
和人 桐ケ谷
 
確率的深層学習における中間層の改良と高性能学習法の提案
確率的深層学習における中間層の改良と高性能学習法の提案確率的深層学習における中間層の改良と高性能学習法の提案
確率的深層学習における中間層の改良と高性能学習法の提案
__106__
 
機械学習 入門
機械学習 入門機械学習 入門
機械学習 入門
Hayato Maki
 
3次元レジストレーション(PCLデモとコード付き)
3次元レジストレーション(PCLデモとコード付き)3次元レジストレーション(PCLデモとコード付き)
3次元レジストレーション(PCLデモとコード付き)
Toru Tamaki
 
第126回 ロボット工学セミナー 三次元点群と深層学習
第126回 ロボット工学セミナー 三次元点群と深層学習第126回 ロボット工学セミナー 三次元点群と深層学習
第126回 ロボット工学セミナー 三次元点群と深層学習
Naoya Chiba
 
実践コンピュータビジョン 3章 画像間の写像
実践コンピュータビジョン 3章 画像間の写像実践コンピュータビジョン 3章 画像間の写像
実践コンピュータビジョン 3章 画像間の写像
yaju88
 
Simulation_Report1
Simulation_Report1Simulation_Report1
Simulation_Report1
T2C_
 
東大計数特別講義20130528
東大計数特別講義20130528東大計数特別講義20130528
東大計数特別講義20130528
Yoichi Motomura
 
JOI春季ステップアップセミナー 2021 講義スライド
JOI春季ステップアップセミナー 2021 講義スライドJOI春季ステップアップセミナー 2021 講義スライド
JOI春季ステップアップセミナー 2021 講義スライド
Kensuke Otsuki
 
TensorFlowによるニューラルネットワーク入門
TensorFlowによるニューラルネットワーク入門TensorFlowによるニューラルネットワーク入門
TensorFlowによるニューラルネットワーク入門
Etsuji Nakai
 

Similar to PRMLの線形回帰モデル(線形基底関数モデル) (20)

Probabilistic Graphical Models 輪読会 #1
Probabilistic Graphical Models 輪読会 #1Probabilistic Graphical Models 輪読会 #1
Probabilistic Graphical Models 輪読会 #1
 
Random Forestsとその応用
Random Forestsとその応用Random Forestsとその応用
Random Forestsとその応用
 
画像処理分野における研究事例紹介
画像処理分野における研究事例紹介画像処理分野における研究事例紹介
画像処理分野における研究事例紹介
 
Coursera "Neural Networks"
Coursera "Neural Networks"Coursera "Neural Networks"
Coursera "Neural Networks"
 
東大大学院 電子情報学特論講義資料「深層学習概論と理論解析の課題」大野健太
東大大学院 電子情報学特論講義資料「深層学習概論と理論解析の課題」大野健太東大大学院 電子情報学特論講義資料「深層学習概論と理論解析の課題」大野健太
東大大学院 電子情報学特論講義資料「深層学習概論と理論解析の課題」大野健太
 
kagamicomput201801
kagamicomput201801kagamicomput201801
kagamicomput201801
 
Rでプロット
RでプロットRでプロット
Rでプロット
 
2012-06-15-トピックを考慮したソーシャルネットワーク上の情報拡散モデル
2012-06-15-トピックを考慮したソーシャルネットワーク上の情報拡散モデル2012-06-15-トピックを考慮したソーシャルネットワーク上の情報拡散モデル
2012-06-15-トピックを考慮したソーシャルネットワーク上の情報拡散モデル
 
チュートリアルのススメ -チュートリアルのためのチュートリアル-
チュートリアルのススメ -チュートリアルのためのチュートリアル-チュートリアルのススメ -チュートリアルのためのチュートリアル-
チュートリアルのススメ -チュートリアルのためのチュートリアル-
 
第18回コンピュータビジョン勉強会@関東「ICCV祭り」発表資料(kanejaki)
第18回コンピュータビジョン勉強会@関東「ICCV祭り」発表資料(kanejaki)第18回コンピュータビジョン勉強会@関東「ICCV祭り」発表資料(kanejaki)
第18回コンピュータビジョン勉強会@関東「ICCV祭り」発表資料(kanejaki)
 
日曜数学会 Ofdm
日曜数学会 Ofdm日曜数学会 Ofdm
日曜数学会 Ofdm
 
確率的深層学習における中間層の改良と高性能学習法の提案
確率的深層学習における中間層の改良と高性能学習法の提案確率的深層学習における中間層の改良と高性能学習法の提案
確率的深層学習における中間層の改良と高性能学習法の提案
 
機械学習 入門
機械学習 入門機械学習 入門
機械学習 入門
 
3次元レジストレーション(PCLデモとコード付き)
3次元レジストレーション(PCLデモとコード付き)3次元レジストレーション(PCLデモとコード付き)
3次元レジストレーション(PCLデモとコード付き)
 
第126回 ロボット工学セミナー 三次元点群と深層学習
第126回 ロボット工学セミナー 三次元点群と深層学習第126回 ロボット工学セミナー 三次元点群と深層学習
第126回 ロボット工学セミナー 三次元点群と深層学習
 
実践コンピュータビジョン 3章 画像間の写像
実践コンピュータビジョン 3章 画像間の写像実践コンピュータビジョン 3章 画像間の写像
実践コンピュータビジョン 3章 画像間の写像
 
Simulation_Report1
Simulation_Report1Simulation_Report1
Simulation_Report1
 
東大計数特別講義20130528
東大計数特別講義20130528東大計数特別講義20130528
東大計数特別講義20130528
 
JOI春季ステップアップセミナー 2021 講義スライド
JOI春季ステップアップセミナー 2021 講義スライドJOI春季ステップアップセミナー 2021 講義スライド
JOI春季ステップアップセミナー 2021 講義スライド
 
TensorFlowによるニューラルネットワーク入門
TensorFlowによるニューラルネットワーク入門TensorFlowによるニューラルネットワーク入門
TensorFlowによるニューラルネットワーク入門
 

More from Yasunori Ozaki

インタラクションのためのコンピュータビジョンのお仕事
インタラクションのためのコンピュータビジョンのお仕事インタラクションのためのコンピュータビジョンのお仕事
インタラクションのためのコンピュータビジョンのお仕事
Yasunori Ozaki
 
Decision Transformer: Reinforcement Learning via Sequence Modeling
Decision Transformer: Reinforcement Learning via Sequence ModelingDecision Transformer: Reinforcement Learning via Sequence Modeling
Decision Transformer: Reinforcement Learning via Sequence Modeling
Yasunori Ozaki
 
CHI 2021 Human, ML & AI のまとめ
CHI 2021 Human, ML & AI のまとめCHI 2021 Human, ML & AI のまとめ
CHI 2021 Human, ML & AI のまとめ
Yasunori Ozaki
 
POMDP下での強化学習の基礎と応用
POMDP下での強化学習の基礎と応用POMDP下での強化学習の基礎と応用
POMDP下での強化学習の基礎と応用
Yasunori Ozaki
 
第六回全日本コンピュータビジョン勉強会資料 UniT (旧題: Transformer is all you need)
第六回全日本コンピュータビジョン勉強会資料 UniT (旧題: Transformer is all you need)第六回全日本コンピュータビジョン勉強会資料 UniT (旧題: Transformer is all you need)
第六回全日本コンピュータビジョン勉強会資料 UniT (旧題: Transformer is all you need)
Yasunori Ozaki
 
Reinforcement Learning: An Introduction 輪読会第1回資料
Reinforcement Learning: An Introduction 輪読会第1回資料Reinforcement Learning: An Introduction 輪読会第1回資料
Reinforcement Learning: An Introduction 輪読会第1回資料
Yasunori Ozaki
 
第四回 全日本CV勉強会スライド(MOTS: Multi-Object Tracking and Segmentation)
第四回 全日本CV勉強会スライド(MOTS: Multi-Object Tracking and Segmentation)第四回 全日本CV勉強会スライド(MOTS: Multi-Object Tracking and Segmentation)
第四回 全日本CV勉強会スライド(MOTS: Multi-Object Tracking and Segmentation)
Yasunori Ozaki
 
Detecting attended visual targets in video の勉強会用資料
Detecting attended visual targets in video の勉強会用資料Detecting attended visual targets in video の勉強会用資料
Detecting attended visual targets in video の勉強会用資料
Yasunori Ozaki
 
IROS 2019 参加報告詳細版
IROS 2019 参加報告詳細版IROS 2019 参加報告詳細版
IROS 2019 参加報告詳細版
Yasunori Ozaki
 
Interact with AI (CHI 2019)
Interact with AI (CHI 2019)Interact with AI (CHI 2019)
Interact with AI (CHI 2019)
Yasunori Ozaki
 
CVPR2019読み会 (Rethinking the Evaluation of Video Summaries)
CVPR2019読み会 (Rethinking the Evaluation of Video Summaries)CVPR2019読み会 (Rethinking the Evaluation of Video Summaries)
CVPR2019読み会 (Rethinking the Evaluation of Video Summaries)
Yasunori Ozaki
 
ビジョンとロボットの強化学習(更新版) Reinforcement Learning in Computer Vision and Robotics.
ビジョンとロボットの強化学習(更新版) Reinforcement Learning in Computer Vision and Robotics.ビジョンとロボットの強化学習(更新版) Reinforcement Learning in Computer Vision and Robotics.
ビジョンとロボットの強化学習(更新版) Reinforcement Learning in Computer Vision and Robotics.
Yasunori Ozaki
 
ビジョンとロボットの強化学習
ビジョンとロボットの強化学習ビジョンとロボットの強化学習
ビジョンとロボットの強化学習
Yasunori Ozaki
 
10分でわかるRandom forest
10分でわかるRandom forest10分でわかるRandom forest
10分でわかるRandom forest
Yasunori Ozaki
 
Japanese Summary; Domain Adaptation for Object Recognition: An Unsupervised A...
Japanese Summary; Domain Adaptation for Object Recognition: An Unsupervised A...Japanese Summary; Domain Adaptation for Object Recognition: An Unsupervised A...
Japanese Summary; Domain Adaptation for Object Recognition: An Unsupervised A...
Yasunori Ozaki
 
Introduction of my works
Introduction of my worksIntroduction of my works
Introduction of my works
Yasunori Ozaki
 

More from Yasunori Ozaki (16)

インタラクションのためのコンピュータビジョンのお仕事
インタラクションのためのコンピュータビジョンのお仕事インタラクションのためのコンピュータビジョンのお仕事
インタラクションのためのコンピュータビジョンのお仕事
 
Decision Transformer: Reinforcement Learning via Sequence Modeling
Decision Transformer: Reinforcement Learning via Sequence ModelingDecision Transformer: Reinforcement Learning via Sequence Modeling
Decision Transformer: Reinforcement Learning via Sequence Modeling
 
CHI 2021 Human, ML & AI のまとめ
CHI 2021 Human, ML & AI のまとめCHI 2021 Human, ML & AI のまとめ
CHI 2021 Human, ML & AI のまとめ
 
POMDP下での強化学習の基礎と応用
POMDP下での強化学習の基礎と応用POMDP下での強化学習の基礎と応用
POMDP下での強化学習の基礎と応用
 
第六回全日本コンピュータビジョン勉強会資料 UniT (旧題: Transformer is all you need)
第六回全日本コンピュータビジョン勉強会資料 UniT (旧題: Transformer is all you need)第六回全日本コンピュータビジョン勉強会資料 UniT (旧題: Transformer is all you need)
第六回全日本コンピュータビジョン勉強会資料 UniT (旧題: Transformer is all you need)
 
Reinforcement Learning: An Introduction 輪読会第1回資料
Reinforcement Learning: An Introduction 輪読会第1回資料Reinforcement Learning: An Introduction 輪読会第1回資料
Reinforcement Learning: An Introduction 輪読会第1回資料
 
第四回 全日本CV勉強会スライド(MOTS: Multi-Object Tracking and Segmentation)
第四回 全日本CV勉強会スライド(MOTS: Multi-Object Tracking and Segmentation)第四回 全日本CV勉強会スライド(MOTS: Multi-Object Tracking and Segmentation)
第四回 全日本CV勉強会スライド(MOTS: Multi-Object Tracking and Segmentation)
 
Detecting attended visual targets in video の勉強会用資料
Detecting attended visual targets in video の勉強会用資料Detecting attended visual targets in video の勉強会用資料
Detecting attended visual targets in video の勉強会用資料
 
IROS 2019 参加報告詳細版
IROS 2019 参加報告詳細版IROS 2019 参加報告詳細版
IROS 2019 参加報告詳細版
 
Interact with AI (CHI 2019)
Interact with AI (CHI 2019)Interact with AI (CHI 2019)
Interact with AI (CHI 2019)
 
CVPR2019読み会 (Rethinking the Evaluation of Video Summaries)
CVPR2019読み会 (Rethinking the Evaluation of Video Summaries)CVPR2019読み会 (Rethinking the Evaluation of Video Summaries)
CVPR2019読み会 (Rethinking the Evaluation of Video Summaries)
 
ビジョンとロボットの強化学習(更新版) Reinforcement Learning in Computer Vision and Robotics.
ビジョンとロボットの強化学習(更新版) Reinforcement Learning in Computer Vision and Robotics.ビジョンとロボットの強化学習(更新版) Reinforcement Learning in Computer Vision and Robotics.
ビジョンとロボットの強化学習(更新版) Reinforcement Learning in Computer Vision and Robotics.
 
ビジョンとロボットの強化学習
ビジョンとロボットの強化学習ビジョンとロボットの強化学習
ビジョンとロボットの強化学習
 
10分でわかるRandom forest
10分でわかるRandom forest10分でわかるRandom forest
10分でわかるRandom forest
 
Japanese Summary; Domain Adaptation for Object Recognition: An Unsupervised A...
Japanese Summary; Domain Adaptation for Object Recognition: An Unsupervised A...Japanese Summary; Domain Adaptation for Object Recognition: An Unsupervised A...
Japanese Summary; Domain Adaptation for Object Recognition: An Unsupervised A...
 
Introduction of my works
Introduction of my worksIntroduction of my works
Introduction of my works
 

Recently uploaded

MOSHI: 革新的な音声AI QAIが開発した次世代のコミュニケーションツール
MOSHI: 革新的な音声AI QAIが開発した次世代のコミュニケーションツールMOSHI: 革新的な音声AI QAIが開発した次世代のコミュニケーションツール
MOSHI: 革新的な音声AI QAIが開発した次世代のコミュニケーションツール
TsuyoshiSaito7
 
論文紹介:Coarse-to-Fine Amodal Segmentation with Shape Prior
論文紹介:Coarse-to-Fine Amodal Segmentation with Shape Prior論文紹介:Coarse-to-Fine Amodal Segmentation with Shape Prior
論文紹介:Coarse-to-Fine Amodal Segmentation with Shape Prior
Toru Tamaki
 
【GPT4-o越えのリアルタイム会話AI】kyutai labsのMoshiデモ動画を解説
【GPT4-o越えのリアルタイム会話AI】kyutai labsのMoshiデモ動画を解説【GPT4-o越えのリアルタイム会話AI】kyutai labsのMoshiデモ動画を解説
【GPT4-o越えのリアルタイム会話AI】kyutai labsのMoshiデモ動画を解説
TsuyoshiSaito7
 
内製化 × グローバル化を通じた 世界水準の IT 組織づくり - ファーストリテイリング・デジタル変革の挑戦
内製化 × グローバル化を通じた 世界水準の IT 組織づくり - ファーストリテイリング・デジタル変革の挑戦内製化 × グローバル化を通じた 世界水準の IT 組織づくり - ファーストリテイリング・デジタル変革の挑戦
内製化 × グローバル化を通じた 世界水準の IT 組織づくり - ファーストリテイリング・デジタル変革の挑戦
Fast Retailing Co., Ltd.
 
「スマートエスイー」におけるスマートシステム&サービスおよびDX推進人材の産学連携育成ならびに参照モデルに基づく育成プログラム分析
「スマートエスイー」におけるスマートシステム&サービスおよびDX推進人材の産学連携育成ならびに参照モデルに基づく育成プログラム分析「スマートエスイー」におけるスマートシステム&サービスおよびDX推進人材の産学連携育成ならびに参照モデルに基づく育成プログラム分析
「スマートエスイー」におけるスマートシステム&サービスおよびDX推進人材の産学連携育成ならびに参照モデルに基づく育成プログラム分析
Hironori Washizaki
 
VRM*VOICEVOX*GoogleCloudを使って自分だけのAIパートナーを作る話
VRM*VOICEVOX*GoogleCloudを使って自分だけのAIパートナーを作る話VRM*VOICEVOX*GoogleCloudを使って自分だけのAIパートナーを作る話
VRM*VOICEVOX*GoogleCloudを使って自分だけのAIパートナーを作る話
company21
 
能動的サイバー防御の時代へ - GPTsから垣間見えた私達と未来のAIについて
能動的サイバー防御の時代へ - GPTsから垣間見えた私達と未来のAIについて能動的サイバー防御の時代へ - GPTsから垣間見えた私達と未来のAIについて
能動的サイバー防御の時代へ - GPTsから垣間見えた私達と未来のAIについて
Tetsuya Nihonmatsu
 
MySQLの文字コードと照合順序について 2024/07/05の勉強会で発表されたものです。
MySQLの文字コードと照合順序について 2024/07/05の勉強会で発表されたものです。MySQLの文字コードと照合順序について 2024/07/05の勉強会で発表されたものです。
MySQLの文字コードと照合順序について 2024/07/05の勉強会で発表されたものです。
iPride Co., Ltd.
 
2024/07/04 Blazor+ローコードで実現する.NET資産のモダナイズ
2024/07/04 Blazor+ローコードで実現する.NET資産のモダナイズ2024/07/04 Blazor+ローコードで実現する.NET資産のモダナイズ
2024/07/04 Blazor+ローコードで実現する.NET資産のモダナイズ
Tatsuya Ishikawa
 

Recently uploaded (9)

MOSHI: 革新的な音声AI QAIが開発した次世代のコミュニケーションツール
MOSHI: 革新的な音声AI QAIが開発した次世代のコミュニケーションツールMOSHI: 革新的な音声AI QAIが開発した次世代のコミュニケーションツール
MOSHI: 革新的な音声AI QAIが開発した次世代のコミュニケーションツール
 
論文紹介:Coarse-to-Fine Amodal Segmentation with Shape Prior
論文紹介:Coarse-to-Fine Amodal Segmentation with Shape Prior論文紹介:Coarse-to-Fine Amodal Segmentation with Shape Prior
論文紹介:Coarse-to-Fine Amodal Segmentation with Shape Prior
 
【GPT4-o越えのリアルタイム会話AI】kyutai labsのMoshiデモ動画を解説
【GPT4-o越えのリアルタイム会話AI】kyutai labsのMoshiデモ動画を解説【GPT4-o越えのリアルタイム会話AI】kyutai labsのMoshiデモ動画を解説
【GPT4-o越えのリアルタイム会話AI】kyutai labsのMoshiデモ動画を解説
 
内製化 × グローバル化を通じた 世界水準の IT 組織づくり - ファーストリテイリング・デジタル変革の挑戦
内製化 × グローバル化を通じた 世界水準の IT 組織づくり - ファーストリテイリング・デジタル変革の挑戦内製化 × グローバル化を通じた 世界水準の IT 組織づくり - ファーストリテイリング・デジタル変革の挑戦
内製化 × グローバル化を通じた 世界水準の IT 組織づくり - ファーストリテイリング・デジタル変革の挑戦
 
「スマートエスイー」におけるスマートシステム&サービスおよびDX推進人材の産学連携育成ならびに参照モデルに基づく育成プログラム分析
「スマートエスイー」におけるスマートシステム&サービスおよびDX推進人材の産学連携育成ならびに参照モデルに基づく育成プログラム分析「スマートエスイー」におけるスマートシステム&サービスおよびDX推進人材の産学連携育成ならびに参照モデルに基づく育成プログラム分析
「スマートエスイー」におけるスマートシステム&サービスおよびDX推進人材の産学連携育成ならびに参照モデルに基づく育成プログラム分析
 
VRM*VOICEVOX*GoogleCloudを使って自分だけのAIパートナーを作る話
VRM*VOICEVOX*GoogleCloudを使って自分だけのAIパートナーを作る話VRM*VOICEVOX*GoogleCloudを使って自分だけのAIパートナーを作る話
VRM*VOICEVOX*GoogleCloudを使って自分だけのAIパートナーを作る話
 
能動的サイバー防御の時代へ - GPTsから垣間見えた私達と未来のAIについて
能動的サイバー防御の時代へ - GPTsから垣間見えた私達と未来のAIについて能動的サイバー防御の時代へ - GPTsから垣間見えた私達と未来のAIについて
能動的サイバー防御の時代へ - GPTsから垣間見えた私達と未来のAIについて
 
MySQLの文字コードと照合順序について 2024/07/05の勉強会で発表されたものです。
MySQLの文字コードと照合順序について 2024/07/05の勉強会で発表されたものです。MySQLの文字コードと照合順序について 2024/07/05の勉強会で発表されたものです。
MySQLの文字コードと照合順序について 2024/07/05の勉強会で発表されたものです。
 
2024/07/04 Blazor+ローコードで実現する.NET資産のモダナイズ
2024/07/04 Blazor+ローコードで実現する.NET資産のモダナイズ2024/07/04 Blazor+ローコードで実現する.NET資産のモダナイズ
2024/07/04 Blazor+ローコードで実現する.NET資産のモダナイズ
 

PRMLの線形回帰モデル(線形基底関数モデル)