This document discusses using linear algebra concepts to analyze data. It explains that vectors can be used to represent data, with each component of the vector corresponding to a different attribute or variable. The amount of each attribute in the data is equivalent to the component value. Vectors can be decomposed into the sum of their components multiplied by basis vectors, and recomposed using those values. This relationship allows the amount of each attribute to be calculated using the inner product of the vector and basis vector. So linear algebra provides a powerful framework for understanding and analyzing complex, multi-dimensional data.
Several recent papers have explored self-supervised learning methods for vision transformers (ViT). Key approaches include:
1. Masked prediction tasks that predict masked patches of the input image.
2. Contrastive learning using techniques like MoCo to learn representations by contrasting augmented views of the same image.
3. Self-distillation methods like DINO that distill a teacher ViT into a student ViT using different views of the same image.
4. Hybrid approaches that combine masked prediction with self-distillation, such as iBOT.
This document discusses representing data as vectors. It explains that vectors are simply sets of numbers, and gives examples of representing human body measurements and image pixels as vectors of various dimensions. Higher-dimensional vectors can be used to encode complex data like images, time series, and survey responses. Visualizing vectors in coordinate systems becomes more abstract in higher dimensions. The key point is that vectors provide a unified way to represent diverse types of data.
This document discusses using linear algebra concepts to analyze data. It explains that vectors can be used to represent data, with each component of the vector corresponding to a different attribute or variable. The amount of each attribute in the data is equivalent to the component value. Vectors can be decomposed into the sum of their components multiplied by basis vectors, and recomposed using those values. This relationship allows the amount of each attribute to be calculated using the inner product of the vector and basis vector. So linear algebra provides a powerful framework for understanding and analyzing complex, multi-dimensional data.
Several recent papers have explored self-supervised learning methods for vision transformers (ViT). Key approaches include:
1. Masked prediction tasks that predict masked patches of the input image.
2. Contrastive learning using techniques like MoCo to learn representations by contrasting augmented views of the same image.
3. Self-distillation methods like DINO that distill a teacher ViT into a student ViT using different views of the same image.
4. Hybrid approaches that combine masked prediction with self-distillation, such as iBOT.
This document discusses representing data as vectors. It explains that vectors are simply sets of numbers, and gives examples of representing human body measurements and image pixels as vectors of various dimensions. Higher-dimensional vectors can be used to encode complex data like images, time series, and survey responses. Visualizing vectors in coordinate systems becomes more abstract in higher dimensions. The key point is that vectors provide a unified way to represent diverse types of data.
141. 21
2022年度秋学期 画像情報処理 / 関西大学総合情報学部 浅野 晃
三角関数と指数関数の関係
20
exp(iω) = cos ω + i sin ω
オイラーの式
cos ω =
exp(iω) + exp(−iω)
2
, sin ω =
exp(iω) − exp(−iω)
2i
ひとつの三角関数=波は,
正負の周波数をもつ指数関数の組で表される
i2
= − 1 虚数単位
「周波数がマイナス」というのはヘンだが,
プラスの周波数とマイナスの周波数のペアでひとつの波になる
exp(x) = ex
(ex
)′ = ex 微分しても変わらない
e = 2.71828...
142. 21
2022年度秋学期 画像情報処理 / 関西大学総合情報学部 浅野 晃
つづきは
21
周期 L の周期関数 f(x) は,波長 L / n の波を足し合わせて
波長 L / n の波は
f(x) =
∞
n=−∞
an exp
i2π
n
L
x
という級数で書ける
exp(i2π
n
L
x) exp(−i2π
n
L
x)
と の組
プラスもマイナスも∞(プラスとマイナスの組で1つの波だから)
143. 21
2022年度秋学期 画像情報処理 / 関西大学総合情報学部 浅野 晃
つづきは
21
周期 L の周期関数 f(x) は,波長 L / n の波を足し合わせて
はず。
波長 L / n の波は
f(x) =
∞
n=−∞
an exp
i2π
n
L
x
という級数で書ける
exp(i2π
n
L
x) exp(−i2π
n
L
x)
と の組
プラスもマイナスも∞(プラスとマイナスの組で1つの波だから)
144. 21
2022年度秋学期 画像情報処理 / 関西大学総合情報学部 浅野 晃
つづきは
21
周期 L の周期関数 f(x) は,波長 L / n の波を足し合わせて
はず。
波長 L / n の波は
f(x) =
∞
n=−∞
an exp
i2π
n
L
x
という級数で書ける
exp(i2π
n
L
x) exp(−i2π
n
L
x)
と の組
プラスもマイナスも∞(プラスとマイナスの組で1つの波だから)
これがフーリエ級数なんですが,
145. 21
2022年度秋学期 画像情報処理 / 関西大学総合情報学部 浅野 晃
つづきは
21
周期 L の周期関数 f(x) は,波長 L / n の波を足し合わせて
はず。
波長 L / n の波は
f(x) =
∞
n=−∞
an exp
i2π
n
L
x
という級数で書ける
exp(i2π
n
L
x) exp(−i2π
n
L
x)
と の組
プラスもマイナスも∞(プラスとマイナスの組で1つの波だから)
この係数はどうやって求めるの?
これがフーリエ級数なんですが,
146. 21
2022年度秋学期 画像情報処理 / 関西大学総合情報学部 浅野 晃
つづきは
21
周期 L の周期関数 f(x) は,波長 L / n の波を足し合わせて
はず。
波長 L / n の波は
f(x) =
∞
n=−∞
an exp
i2π
n
L
x
という級数で書ける
exp(i2π
n
L
x) exp(−i2π
n
L
x)
と の組
プラスもマイナスも∞(プラスとマイナスの組で1つの波だから)
この係数はどうやって求めるの?
続きは次回。
これがフーリエ級数なんですが,