SlideShare a Scribd company logo

【論文レベルで理解しよう！】​ 欠測値処理編​

•
•
ARISE analytics
ARISE analytics

「ARISE university Training（社内勉強会）」で使用した資料です。

Technology
1 of 19
Download to read offline
【論文レベルで理解しよう！】 欠測値処理編 株式会社ARISE analytics MS Div. Service Growth Unit auCL UX Team 田中卓磨 ©2023 ARISE analytics Reserved. 2023/09/01
目次 ©2023 ARISE analytics Reserved. 👹：余裕があれば聞いてほしい １ 2 4 5 論文紹介 欠測値補完まとめ 欠測への対応一覧 欠測値補完の比較検証 3 欠測値を含む回帰問題の性質👹
論文紹介 ©2023 ARISE analytics Reserved.
論文紹介 ©2023 ARISE analytics Reserved. 3 業務上欠測値を扱うことが多いため、その扱いに関する論文をNeurIPSから紹介。 論文情報 著者：Marine Le Morvan, Julie Josse, Erwan Scornet, Gaël Varoquaux. 題目：What’s a good imputation to predict with missing values? 出典：35th Conference on Neural Information Processing Systems (NeurIPS 2021) 概要：欠測値を含む回帰はどのように扱えば良い結果が得られるのか。本論文では Impute-then-regress によってベイズ最適を得られることを示す。ただ補完方法によって回帰の難しさが変動するので、 補完と回帰を同時に行う NeuMiss という手法が欠測値を含む回帰に効果的だと提案している。 紹介理由 実務上のデータの欠測値が多すぎるが、そのデータを使って機械学習をやる必要がある。 → 欠測値の処理に関する論文を読もう。
欠測への対応一覧 ©2023 ARISE analytics Reserved.
欠測データの対処法 ©2023 ARISE analytics Reserved. 5 欠測データへの対処法について様々なものがあるので紹介する。後ほど性能を比較する。 ⚫ 欠測データの除去 (論文に未記載のため、今回比較に含めない) • 欠測が1つでもあるデータを省く。データの分布に影響を与えるのでよくない。 ⚫ 平均値による欠測値補完 • 欠測値を観測値の平均値で補完する。データの分布に影響を与えるのでよくない。 ⚫ GBDT/RandomForest での欠測対応 • 欠測値をそのまま特別扱いする。詳細は次ページ。 ⚫ EMアルゴリズムでの最尤推定 (論文に未記載のため、今回比較に含めない) • 観測値からなる尤度を計算し、尤度をもとに回帰を行う。 ⚫ MICEによる欠測値補完 • 回帰代入法を繰り返し適用することで欠測値を補完する。詳細は次ページ以降。 ⚫ NeuMiss での欠測補完と回帰の同時実行 ←今回推奨 • ニューラルネットワークを用いて欠測値の補完と回帰の学習を同時に行う。詳細は次ページ以降。
GBDT/RandomForestの欠測対応 ©2023 ARISE analytics Reserved. 6 GBDT(勾配ブースティング)系モデルにNaNが入るのってナンでなん？ - Qiita 木の成長の際に分割点と欠測値の分け方を全通り試し、lossが最小となる選択をする。 • SklearnもLightGBMも XGBoostも同様の欠測 値処理を行っている。 • カテゴリ変数の場合はあ るカテゴリであるかどうかの Yes or Noで分岐する が、欠測値は必ず No に振り分けられる。 備考 X=2.0 Y=3.0 X=4.0 Y=4.0 X=8.0 Y=1.0 X=NA Y=2.0 非欠測データ 欠測データ X=NA Y=6.0 分割点 x NAの左右分けを全通り試す X=2.0 Y=3.0 X=4.0 Y=4.0 X=8.0 Y=1.0 X=NA Y=2.0 X=NA Y=6.0 分割点=3, NA=右 分割点=3 X=2.0 Y=3.0 X=4.0 Y=4.0 X=8.0 Y=1.0 X=NA Y=2.0 X=NA Y=6.0 分割点=3 Loss: 14.8 Loss: 14.75 分割点=3, NA=左 Loss: 13.17 … 全通りから最小のlossを選択
MICE詳細説明 ©2023 ARISE analytics Reserved. 7 多重代入法(2)：データの欠測に補完値を代入する（miceパッケージ） [R] - ねこすたっと (hatenablog.jp) 欠測値に適当な初期値を与え、回帰代入法による各特徴量への補完を繰り返す手法 • 実装上では sklearn.impute.Iter ativeImputerを使えば 簡単に行える。 • 本論文では欠測値の回 帰代入法に線形回帰を 用いているが、もっと表現 力の高いモデルを用いて もよい。 備考 適当な初期値を代入 欠測箇所をもとに戻す 回帰により欠測補完 回帰により欠測補完 回帰により欠測補完 欠測箇所をもとに戻す
NeuMiss詳細説明 ©2023 ARISE analytics Reserved. 8 NeuMiss networks: differentiable programming for supervised learning with missing values. (neurips.cc) ニューラルネットワークを用いて、欠測値補完と回帰を同時に行う手法 変数Xがガウス分布に従うとき、観測値 𝑋𝑜𝑏𝑠 が与えられたときの欠測値 𝑋𝑚𝑖𝑠の期待値 𝐸 𝑋𝑚𝑖𝑠|𝑋𝑜𝑏𝑠 = 𝜇𝑚𝑖𝑠 + Σ𝑚𝑖𝑠,𝑜𝑏𝑠 Σ𝑜𝑏𝑠 −1 𝑋𝑜𝑏𝑠 − 𝜇𝑜𝑏𝑠 漸化式 𝑆(𝑛+1) = 𝐼 − Σ𝑜𝑏𝑠 𝑆(𝑛) + 𝐼 の極限 lim 𝑛→∞ 𝑆(𝑛) = Σ𝑜𝑏𝑠 −1 より、 モデルとして、ガウス分布を仮定した欠測値補完を含んでいる。(重みが青の場合) 𝜇𝑚𝑖𝑠 𝑋𝑜𝑏𝑠 − 𝜇𝑜𝑏𝑠 Σ𝑜𝑏𝑠 −1 𝑋𝑜𝑏𝑠 − 𝜇𝑜𝑏𝑠 𝑋𝑜𝑏𝑠 𝑚 : 𝑥𝑗 が欠測のとき 𝑚𝑗 = 1 、観測のとき 𝑚𝑗 = 0 𝑋𝑜𝑏𝑠 𝜇𝑜𝑏𝑠
欠測値を含む回帰問題の性質👹 ©2023 ARISE analytics Reserved.
問題設定 ©2023 ARISE analytics Reserved. 10 説明変数に欠測値を含んだ回帰問題を考える。 • データ生成仮定：完全データ 𝑋 ∈ ℝ𝑑 と真の回帰関数 𝑓∗:ℝ𝑑 → ℝ とランダムノイズ 𝜖 ∈ ℝ から構成 𝑌 = 𝑓∗ 𝑋 + 𝜖, 𝔼 𝜖 𝑋𝑜𝑏𝑠(𝑀),𝑀 = 0 • データ欠測：欠測指示ベクトル 𝑀 ∈ 0,1 𝑑 により、欠測データ ෨ 𝑋 ∈ ℝ ∪ 𝑁𝐴 𝑑 が生成 ෨ 𝑋𝑗 = ൝ 𝑋𝑗, 𝑀𝑗 = 0 𝑁𝐴, 𝑀𝑗 = 1 • 欠測を含む回帰の評価(リスク) 上記のリスクを最小にする関数 ሚ 𝑓∗ : ℝ ∪ 𝑁𝐴 𝑑 → ℝ をベイズ予測器と呼び、 ベイズ予測器のリスクと同等のリスクを達成する関数 𝑓: ℝ ∪ 𝑁𝐴 𝑑 → ℝ をベイズ最適と呼ぶ。 ベイズ最適を得るにはどうすれば良いか考える。
Impute-then-regress ©2023 ARISE analytics Reserved. 11 一般的には欠測値を補完したのちに回帰問題を解くことが行われる。 (論文中では Impute-then-regress と呼ぶ) 欠測補完関数 Φ と回帰関数 𝑔の合成関数である𝑔 ∘ Φ(⋯ )を欠測を含む回帰関数として用いる また、欠測補完関数 Φ ∈ ℱ𝐼 に対してリスクを最小にする回帰関数を 𝑔Φ ∗ とする。 平均値補完・MICE・NeuMissなどが これに該当する。 Impute-then-regress 𝒈𝚽 ∗ ∘ 𝚽 はベイズ最適を達成することができるのか。 (できるとすればどのような条件があるのか) 観測値ならそのまま 欠測値なら観測値からデータ補完
論文の主張 ©2023 ARISE analytics Reserved. 12 補完関数と回帰関数の関係性として、その組合せによりベイズ最適が得られること、どちら か一方が完璧だと、もう片方は学習困難なものとなることが示された。 補完と回帰を同時に学習し、両者の塩梅を上手くとれる NeuMiss は強い どんな補間関数Φならいいの? どんな補間関数Φならいいの? • ほとんどすべての無限回微分可能な補完関数 Φ に対して、𝑔𝛷 ∗ ∘ Φ はベイズ最適 → どんな補完でも最適な回帰は理論上可能 でもそれって実用上学習困難(不連続)だったりしないの? どんな補間関数Φならいいの? • 補完関数として条件付き期待値を完璧に表せたとしても、真の回帰関数 𝑓∗ を適用してベイズ最適となるとは 限らない。またそうならない場合、不連続関数を回帰に用いるとベイズ最適になる。(不連続関数は学習困難) → 補完が完璧すぎると、回帰が難しい • 逆に真の回帰関数 𝑓∗ を適用してベイズ最適を目指すとき、補完関数 Φ は不連続となることも → 回帰が完璧でも、補完がうまくいくとは限らない
欠測値補完の比較検証 ©2023 ARISE analytics Reserved.
豆知識：欠測メカニズムの種類 ©2023 ARISE analytics Reserved. 14 欠測は、そのメカニズムから、MCAR・MAR・MNARの3種類に分けられる。 MCAR・MARは統計的手法を用いた欠測値補完が比較的容易だが、 MNARは一般的にメカニズムを知り、その専用の補完モデルを作成する必要がある。 • Missing Completely At Random (MCAR) • 完全にランダムに欠測が発生している。データの値に全く依存しない。 • Ex) 機械のバグで実験の測定値が欠測する。 • Missing At Random (MAR) • 観測されているデータの値にのみ依存して確率的に欠測する。 • Ex) グレードが高い社員ほどアンケートの欠測率が小さくなる。 • Missing Not At Random (MNAR) • 欠測したデータの値に依存して確率的に欠測する。 • Ex) 年収が低い社員ほど年収の公開せず欠測率が大きくなる。 欠測値補完 難易度 易 難
欠測を含む回帰の精度比較実験 ©2023 ARISE analytics Reserved. 15 ① 完璧な補完関数と真の回帰関数を繋げた としても、非線形性が高く、変数間の相関 が低い場合は、回帰に失敗する ② 完璧な補完関数を使った連続関数での回 帰はベイズ最適にならない ③ マスク情報を入れることはMNARのとき有効 である。→ 「欠測した」という情報が大事 ④ Oracleを用いない手法の中でNeuMiss が一番精度が良い • Maskとは回帰の説明変数Xに欠測か否か の0/1(M)情報を入れること • Oracle: データの生成仮定などの実際には 本来利用できない情報。およびそれを用い た理論上最適な予測器のこと。 考察 ① ③ ② ④ ④ ② ① 真の回帰関数 𝑓∗ 𝑋 = ℎ∗ (𝛽𝑇 𝑋 + 𝛽0) や説明変数の相関、欠測メカニズムを変えて各手法で回帰を行い、 ベイズ最適との差を確かめる。
まとめ ©2023 ARISE analytics Reserved.
まとめ ©2023 ARISE analytics Reserved. 17 • Impute-then-regress は欠測メカニズムに関わらず、欠測を含む回帰 に効果的な手法である。しかし、補完関数によって、学習の難しさが変わっ てしまうため、データに適した補完を行うことが重要。 • 補完と回帰を同時に行うニューラルネットワークを用いた手法 NeuMiss は GBDTや他の補完法と比較して良い精度が得られる。 • GBDT < 平均値補完+mask+NN < MICE+mask+NN < NeuMiss 欠測値は無下に扱わず、補完は適切に行うことが大切。 ここで紹介できなかったEMアルゴリズムでの最尤推定や多重代入法といった別のアプローチや、 生存時間分析での欠測処理(カプランマイヤー法)など、欠測処理は学ぶことが多い。
Best Partner for innovation, Best Creator for the future.

Recommended

[DL輪読会]A Bayesian Perspective on Generalization and Stochastic Gradient Descent
[DL輪読会]A Bayesian Perspective on Generalization and Stochastic Gradient Descent [DL輪読会]A Bayesian Perspective on Generalization and Stochastic Gradient Descent
[DL輪読会]A Bayesian Perspective on Generalization and Stochastic Gradient DescentDeep Learning JP
 
SSII2021 [OS2-01] 転移学習の基礎：異なるタスクの知識を利用するための機械学習の方法
SSII2021 [OS2-01] 転移学習の基礎：異なるタスクの知識を利用するための機械学習の方法SSII2021 [OS2-01] 転移学習の基礎：異なるタスクの知識を利用するための機械学習の方法
SSII2021 [OS2-01] 転移学習の基礎：異なるタスクの知識を利用するための機械学習の方法SSII
 
NIPS2017読み会 LightGBM: A Highly Efficient Gradient Boosting Decision Tree
NIPS2017読み会 LightGBM: A Highly Efficient Gradient Boosting Decision TreeNIPS2017読み会 LightGBM: A Highly Efficient Gradient Boosting Decision Tree
NIPS2017読み会 LightGBM: A Highly Efficient Gradient Boosting Decision TreeTakami Sato
 
【DL輪読会】ViTPose: Simple Vision Transformer Baselines for Human Pose Estimation
【DL輪読会】ViTPose: Simple Vision Transformer Baselines for Human Pose Estimation【DL輪読会】ViTPose: Simple Vision Transformer Baselines for Human Pose Estimation
【DL輪読会】ViTPose: Simple Vision Transformer Baselines for Human Pose EstimationDeep Learning JP
 
[DL輪読会]Focal Loss for Dense Object Detection
[DL輪読会]Focal Loss for Dense Object Detection[DL輪読会]Focal Loss for Dense Object Detection
[DL輪読会]Focal Loss for Dense Object DetectionDeep Learning JP
 
【DL輪読会】ViT + Self Supervised Learningまとめ
【DL輪読会】ViT + Self Supervised Learningまとめ【DL輪読会】ViT + Self Supervised Learningまとめ
【DL輪読会】ViT + Self Supervised LearningまとめDeep Learning JP
 
【DL輪読会】Learning Physics Constrained Dynamics Using Autoencoders
【DL輪読会】Learning Physics Constrained Dynamics Using Autoencoders【DL輪読会】Learning Physics Constrained Dynamics Using Autoencoders
【DL輪読会】Learning Physics Constrained Dynamics Using AutoencodersDeep Learning JP
 
【DL輪読会】Flamingo: a Visual Language Model for Few-Shot Learning 画像×言語の大規模基盤モ...
【DL輪読会】Flamingo: a Visual Language Model for Few-Shot Learning 画像×言語の大規模基盤モ...【DL輪読会】Flamingo: a Visual Language Model for Few-Shot Learning 画像×言語の大規模基盤モ...
【DL輪読会】Flamingo: a Visual Language Model for Few-Shot Learning 画像×言語の大規模基盤モ...Deep Learning JP
 

Recommended

[DL輪読会]A Bayesian Perspective on Generalization and Stochastic Gradient Descent
[DL輪読会]A Bayesian Perspective on Generalization and Stochastic Gradient Descent [DL輪読会]A Bayesian Perspective on Generalization and Stochastic Gradient Descent
[DL輪読会]A Bayesian Perspective on Generalization and Stochastic Gradient DescentDeep Learning JP
 
SSII2021 [OS2-01] 転移学習の基礎：異なるタスクの知識を利用するための機械学習の方法
SSII2021 [OS2-01] 転移学習の基礎：異なるタスクの知識を利用するための機械学習の方法SSII2021 [OS2-01] 転移学習の基礎：異なるタスクの知識を利用するための機械学習の方法
SSII2021 [OS2-01] 転移学習の基礎：異なるタスクの知識を利用するための機械学習の方法SSII
 
NIPS2017読み会 LightGBM: A Highly Efficient Gradient Boosting Decision Tree
NIPS2017読み会 LightGBM: A Highly Efficient Gradient Boosting Decision TreeNIPS2017読み会 LightGBM: A Highly Efficient Gradient Boosting Decision Tree
NIPS2017読み会 LightGBM: A Highly Efficient Gradient Boosting Decision TreeTakami Sato
 
【DL輪読会】ViTPose: Simple Vision Transformer Baselines for Human Pose Estimation
【DL輪読会】ViTPose: Simple Vision Transformer Baselines for Human Pose Estimation【DL輪読会】ViTPose: Simple Vision Transformer Baselines for Human Pose Estimation
【DL輪読会】ViTPose: Simple Vision Transformer Baselines for Human Pose EstimationDeep Learning JP
 
[DL輪読会]Focal Loss for Dense Object Detection
[DL輪読会]Focal Loss for Dense Object Detection[DL輪読会]Focal Loss for Dense Object Detection
[DL輪読会]Focal Loss for Dense Object DetectionDeep Learning JP
 
【DL輪読会】ViT + Self Supervised Learningまとめ
【DL輪読会】ViT + Self Supervised Learningまとめ【DL輪読会】ViT + Self Supervised Learningまとめ
【DL輪読会】ViT + Self Supervised LearningまとめDeep Learning JP
 
【DL輪読会】Learning Physics Constrained Dynamics Using Autoencoders
【DL輪読会】Learning Physics Constrained Dynamics Using Autoencoders【DL輪読会】Learning Physics Constrained Dynamics Using Autoencoders
【DL輪読会】Learning Physics Constrained Dynamics Using AutoencodersDeep Learning JP
 
【DL輪読会】Flamingo: a Visual Language Model for Few-Shot Learning 画像×言語の大規模基盤モ...
【DL輪読会】Flamingo: a Visual Language Model for Few-Shot Learning 画像×言語の大規模基盤モ...【DL輪読会】Flamingo: a Visual Language Model for Few-Shot Learning 画像×言語の大規模基盤モ...
【DL輪読会】Flamingo: a Visual Language Model for Few-Shot Learning 画像×言語の大規模基盤モ...Deep Learning JP
 
【DL輪読会】Code as Policies: Language Model Programs for Embodied Control
【DL輪読会】Code as Policies: Language Model Programs for Embodied Control【DL輪読会】Code as Policies: Language Model Programs for Embodied Control
【DL輪読会】Code as Policies: Language Model Programs for Embodied ControlDeep Learning JP
 
文献紹介：Swin Transformer: Hierarchical Vision Transformer Using Shifted Windows
文献紹介：Swin Transformer: Hierarchical Vision Transformer Using Shifted Windows文献紹介：Swin Transformer: Hierarchical Vision Transformer Using Shifted Windows
文献紹介：Swin Transformer: Hierarchical Vision Transformer Using Shifted WindowsToru Tamaki
 
【DL輪読会】How Much Can CLIP Benefit Vision-and-Language Tasks?
【DL輪読会】How Much Can CLIP Benefit Vision-and-Language Tasks? 【DL輪読会】How Much Can CLIP Benefit Vision-and-Language Tasks?
【DL輪読会】How Much Can CLIP Benefit Vision-and-Language Tasks? Deep Learning JP
 
Recent Advances on Transfer Learning and Related Topics Ver.2
Recent Advances on Transfer Learning and Related Topics Ver.2Recent Advances on Transfer Learning and Related Topics Ver.2
Recent Advances on Transfer Learning and Related Topics Ver.2Kota Matsui
 
SSII2021 [OS2-02] 深層学習におけるデータ拡張の原理と最新動向
SSII2021 [OS2-02] 深層学習におけるデータ拡張の原理と最新動向SSII2021 [OS2-02] 深層学習におけるデータ拡張の原理と最新動向
SSII2021 [OS2-02] 深層学習におけるデータ拡張の原理と最新動向SSII
 
[DL輪読会]MetaFormer is Actually What You Need for Vision
[DL輪読会]MetaFormer is Actually What You Need for Vision[DL輪読会]MetaFormer is Actually What You Need for Vision
[DL輪読会]MetaFormer is Actually What You Need for VisionDeep Learning JP
 
自己教師学習（Self-Supervised Learning）
自己教師学習（Self-Supervised Learning）自己教師学習（Self-Supervised Learning）
自己教師学習（Self-Supervised Learning）cvpaper. challenge
 
勾配ブースティングの基礎と最新の動向 (MIRU2020 Tutorial)
勾配ブースティングの基礎と最新の動向 (MIRU2020 Tutorial)勾配ブースティングの基礎と最新の動向 (MIRU2020 Tutorial)
勾配ブースティングの基礎と最新の動向 (MIRU2020 Tutorial)RyuichiKanoh
 
ベイズ統計学の概論的紹介
ベイズ統計学の概論的紹介ベイズ統計学の概論的紹介
ベイズ統計学の概論的紹介Naoki Hayashi
 
自然言語処理 BERTに関する論文紹介とまとめ
自然言語処理 BERTに関する論文紹介とまとめ自然言語処理 BERTに関する論文紹介とまとめ
自然言語処理 BERTに関する論文紹介とまとめKeisukeNakazono
 
最適輸送の計算アルゴリズムの研究動向
最適輸送の計算アルゴリズムの研究動向最適輸送の計算アルゴリズムの研究動向
最適輸送の計算アルゴリズムの研究動向ohken
 
Semantic segmentation
Semantic segmentationSemantic segmentation
Semantic segmentationTakuya Minagawa
 
Curriculum Learning （関東CV勉強会）
Curriculum Learning （関東CV勉強会）Curriculum Learning （関東CV勉強会）
Curriculum Learning （関東CV勉強会）Yoshitaka Ushiku
 
深層ニューラルネットワークの積分表現（Deepを定式化する数学）
深層ニューラルネットワークの積分表現（Deepを定式化する数学）深層ニューラルネットワークの積分表現（Deepを定式化する数学）
深層ニューラルネットワークの積分表現（Deepを定式化する数学）Katsuya Ito
 
Kaggle Happywhaleコンペ優勝解法でのOptuna使用事例 - 2022/12/10 Optuna Meetup #2
Kaggle Happywhaleコンペ優勝解法でのOptuna使用事例 - 2022/12/10 Optuna Meetup #2Kaggle Happywhaleコンペ優勝解法でのOptuna使用事例 - 2022/12/10 Optuna Meetup #2
Kaggle Happywhaleコンペ優勝解法でのOptuna使用事例 - 2022/12/10 Optuna Meetup #2Preferred Networks
 
21世紀の手法対決 (MIC vs HSIC)
21世紀の手法対決 (MIC vs HSIC)21世紀の手法対決 (MIC vs HSIC)
21世紀の手法対決 (MIC vs HSIC)Toru Imai
 
【論文読み会】Moser Flow: Divergence-based Generative Modeling on Manifolds
【論文読み会】Moser Flow: Divergence-based Generative Modeling on Manifolds【論文読み会】Moser Flow: Divergence-based Generative Modeling on Manifolds
【論文読み会】Moser Flow: Divergence-based Generative Modeling on ManifoldsARISE analytics
 
[DL輪読会]GLIDE: Guided Language to Image Diffusion for Generation and Editing
[DL輪読会]GLIDE: Guided Language to Image Diffusion for Generation and Editing[DL輪読会]GLIDE: Guided Language to Image Diffusion for Generation and Editing
[DL輪読会]GLIDE: Guided Language to Image Diffusion for Generation and EditingDeep Learning JP
 
最適輸送の解き方
最適輸送の解き方最適輸送の解き方
最適輸送の解き方joisino
 
【DL輪読会】DreamBooth: Fine Tuning Text-to-Image Diffusion Models for Subject-Dri...
【DL輪読会】DreamBooth: Fine Tuning Text-to-Image Diffusion Models for Subject-Dri...【DL輪読会】DreamBooth: Fine Tuning Text-to-Image Diffusion Models for Subject-Dri...
【DL輪読会】DreamBooth: Fine Tuning Text-to-Image Diffusion Models for Subject-Dri...Deep Learning JP
 
[DL輪読会]Non-Autoregressive Machine Translation with Latent Alignments
[DL輪読会]Non-Autoregressive Machine Translation with Latent Alignments[DL輪読会]Non-Autoregressive Machine Translation with Latent Alignments
[DL輪読会]Non-Autoregressive Machine Translation with Latent AlignmentsDeep Learning JP
 
ディープラーニング入門 ～ 画像処理・自然言語処理について ～
ディープラーニング入門 ～ 画像処理・自然言語処理について ～ディープラーニング入門 ～ 画像処理・自然言語処理について ～
ディープラーニング入門 ～ 画像処理・自然言語処理について ～Kensuke Otsuki
 

More Related Content

What's hot

【DL輪読会】Code as Policies: Language Model Programs for Embodied Control
【DL輪読会】Code as Policies: Language Model Programs for Embodied Control【DL輪読会】Code as Policies: Language Model Programs for Embodied Control
【DL輪読会】Code as Policies: Language Model Programs for Embodied ControlDeep Learning JP
 
文献紹介：Swin Transformer: Hierarchical Vision Transformer Using Shifted Windows
文献紹介：Swin Transformer: Hierarchical Vision Transformer Using Shifted Windows文献紹介：Swin Transformer: Hierarchical Vision Transformer Using Shifted Windows
文献紹介：Swin Transformer: Hierarchical Vision Transformer Using Shifted WindowsToru Tamaki
 
【DL輪読会】How Much Can CLIP Benefit Vision-and-Language Tasks?
【DL輪読会】How Much Can CLIP Benefit Vision-and-Language Tasks? 【DL輪読会】How Much Can CLIP Benefit Vision-and-Language Tasks?
【DL輪読会】How Much Can CLIP Benefit Vision-and-Language Tasks? Deep Learning JP
 
Recent Advances on Transfer Learning and Related Topics Ver.2
Recent Advances on Transfer Learning and Related Topics Ver.2Recent Advances on Transfer Learning and Related Topics Ver.2
Recent Advances on Transfer Learning and Related Topics Ver.2Kota Matsui
 
SSII2021 [OS2-02] 深層学習におけるデータ拡張の原理と最新動向
SSII2021 [OS2-02] 深層学習におけるデータ拡張の原理と最新動向SSII2021 [OS2-02] 深層学習におけるデータ拡張の原理と最新動向
SSII2021 [OS2-02] 深層学習におけるデータ拡張の原理と最新動向SSII
 
[DL輪読会]MetaFormer is Actually What You Need for Vision
[DL輪読会]MetaFormer is Actually What You Need for Vision[DL輪読会]MetaFormer is Actually What You Need for Vision
[DL輪読会]MetaFormer is Actually What You Need for VisionDeep Learning JP
 
自己教師学習（Self-Supervised Learning）
自己教師学習（Self-Supervised Learning）自己教師学習（Self-Supervised Learning）
自己教師学習（Self-Supervised Learning）cvpaper. challenge
 
勾配ブースティングの基礎と最新の動向 (MIRU2020 Tutorial)
勾配ブースティングの基礎と最新の動向 (MIRU2020 Tutorial)勾配ブースティングの基礎と最新の動向 (MIRU2020 Tutorial)
勾配ブースティングの基礎と最新の動向 (MIRU2020 Tutorial)RyuichiKanoh
 
ベイズ統計学の概論的紹介
ベイズ統計学の概論的紹介ベイズ統計学の概論的紹介
ベイズ統計学の概論的紹介Naoki Hayashi
 
自然言語処理 BERTに関する論文紹介とまとめ
自然言語処理 BERTに関する論文紹介とまとめ自然言語処理 BERTに関する論文紹介とまとめ
自然言語処理 BERTに関する論文紹介とまとめKeisukeNakazono
 
最適輸送の計算アルゴリズムの研究動向
最適輸送の計算アルゴリズムの研究動向最適輸送の計算アルゴリズムの研究動向
最適輸送の計算アルゴリズムの研究動向ohken
 
Curriculum Learning （関東CV勉強会）
Curriculum Learning （関東CV勉強会）Curriculum Learning （関東CV勉強会）
Curriculum Learning （関東CV勉強会）Yoshitaka Ushiku
 
深層ニューラルネットワークの積分表現（Deepを定式化する数学）
深層ニューラルネットワークの積分表現（Deepを定式化する数学）深層ニューラルネットワークの積分表現（Deepを定式化する数学）
深層ニューラルネットワークの積分表現（Deepを定式化する数学）Katsuya Ito
 
Kaggle Happywhaleコンペ優勝解法でのOptuna使用事例 - 2022/12/10 Optuna Meetup #2
Kaggle Happywhaleコンペ優勝解法でのOptuna使用事例 - 2022/12/10 Optuna Meetup #2Kaggle Happywhaleコンペ優勝解法でのOptuna使用事例 - 2022/12/10 Optuna Meetup #2
Kaggle Happywhaleコンペ優勝解法でのOptuna使用事例 - 2022/12/10 Optuna Meetup #2Preferred Networks
 
21世紀の手法対決 (MIC vs HSIC)
21世紀の手法対決 (MIC vs HSIC)21世紀の手法対決 (MIC vs HSIC)
21世紀の手法対決 (MIC vs HSIC)Toru Imai
 
【論文読み会】Moser Flow: Divergence-based Generative Modeling on Manifolds
【論文読み会】Moser Flow: Divergence-based Generative Modeling on Manifolds【論文読み会】Moser Flow: Divergence-based Generative Modeling on Manifolds
【論文読み会】Moser Flow: Divergence-based Generative Modeling on ManifoldsARISE analytics
 
[DL輪読会]GLIDE: Guided Language to Image Diffusion for Generation and Editing
[DL輪読会]GLIDE: Guided Language to Image Diffusion for Generation and Editing[DL輪読会]GLIDE: Guided Language to Image Diffusion for Generation and Editing
[DL輪読会]GLIDE: Guided Language to Image Diffusion for Generation and EditingDeep Learning JP
 
最適輸送の解き方
最適輸送の解き方最適輸送の解き方
最適輸送の解き方joisino
 
【DL輪読会】DreamBooth: Fine Tuning Text-to-Image Diffusion Models for Subject-Dri...
【DL輪読会】DreamBooth: Fine Tuning Text-to-Image Diffusion Models for Subject-Dri...【DL輪読会】DreamBooth: Fine Tuning Text-to-Image Diffusion Models for Subject-Dri...
【DL輪読会】DreamBooth: Fine Tuning Text-to-Image Diffusion Models for Subject-Dri...Deep Learning JP
 

What's hot (20)

【DL輪読会】Code as Policies: Language Model Programs for Embodied Control
【DL輪読会】Code as Policies: Language Model Programs for Embodied Control【DL輪読会】Code as Policies: Language Model Programs for Embodied Control
【DL輪読会】Code as Policies: Language Model Programs for Embodied Control
 
文献紹介：Swin Transformer: Hierarchical Vision Transformer Using Shifted Windows
文献紹介：Swin Transformer: Hierarchical Vision Transformer Using Shifted Windows文献紹介：Swin Transformer: Hierarchical Vision Transformer Using Shifted Windows
文献紹介：Swin Transformer: Hierarchical Vision Transformer Using Shifted Windows
 
【DL輪読会】How Much Can CLIP Benefit Vision-and-Language Tasks?
【DL輪読会】How Much Can CLIP Benefit Vision-and-Language Tasks? 【DL輪読会】How Much Can CLIP Benefit Vision-and-Language Tasks?
【DL輪読会】How Much Can CLIP Benefit Vision-and-Language Tasks?
 
Recent Advances on Transfer Learning and Related Topics Ver.2
Recent Advances on Transfer Learning and Related Topics Ver.2Recent Advances on Transfer Learning and Related Topics Ver.2
Recent Advances on Transfer Learning and Related Topics Ver.2
 
SSII2021 [OS2-02] 深層学習におけるデータ拡張の原理と最新動向
SSII2021 [OS2-02] 深層学習におけるデータ拡張の原理と最新動向SSII2021 [OS2-02] 深層学習におけるデータ拡張の原理と最新動向
SSII2021 [OS2-02] 深層学習におけるデータ拡張の原理と最新動向
 
[DL輪読会]MetaFormer is Actually What You Need for Vision
[DL輪読会]MetaFormer is Actually What You Need for Vision[DL輪読会]MetaFormer is Actually What You Need for Vision
[DL輪読会]MetaFormer is Actually What You Need for Vision
 
自己教師学習（Self-Supervised Learning）
自己教師学習（Self-Supervised Learning）自己教師学習（Self-Supervised Learning）
自己教師学習（Self-Supervised Learning）
 
勾配ブースティングの基礎と最新の動向 (MIRU2020 Tutorial)
勾配ブースティングの基礎と最新の動向 (MIRU2020 Tutorial)勾配ブースティングの基礎と最新の動向 (MIRU2020 Tutorial)
勾配ブースティングの基礎と最新の動向 (MIRU2020 Tutorial)
 
ベイズ統計学の概論的紹介
ベイズ統計学の概論的紹介ベイズ統計学の概論的紹介
ベイズ統計学の概論的紹介
 
自然言語処理 BERTに関する論文紹介とまとめ
自然言語処理 BERTに関する論文紹介とまとめ自然言語処理 BERTに関する論文紹介とまとめ
自然言語処理 BERTに関する論文紹介とまとめ
 
最適輸送の計算アルゴリズムの研究動向
最適輸送の計算アルゴリズムの研究動向最適輸送の計算アルゴリズムの研究動向
最適輸送の計算アルゴリズムの研究動向
 
Semantic segmentation
Semantic segmentationSemantic segmentation
Semantic segmentation
 
Curriculum Learning （関東CV勉強会）
Curriculum Learning （関東CV勉強会）Curriculum Learning （関東CV勉強会）
Curriculum Learning （関東CV勉強会）
 
深層ニューラルネットワークの積分表現（Deepを定式化する数学）
深層ニューラルネットワークの積分表現（Deepを定式化する数学）深層ニューラルネットワークの積分表現（Deepを定式化する数学）
深層ニューラルネットワークの積分表現（Deepを定式化する数学）
 
Kaggle Happywhaleコンペ優勝解法でのOptuna使用事例 - 2022/12/10 Optuna Meetup #2
Kaggle Happywhaleコンペ優勝解法でのOptuna使用事例 - 2022/12/10 Optuna Meetup #2Kaggle Happywhaleコンペ優勝解法でのOptuna使用事例 - 2022/12/10 Optuna Meetup #2
Kaggle Happywhaleコンペ優勝解法でのOptuna使用事例 - 2022/12/10 Optuna Meetup #2
 
21世紀の手法対決 (MIC vs HSIC)
21世紀の手法対決 (MIC vs HSIC)21世紀の手法対決 (MIC vs HSIC)
21世紀の手法対決 (MIC vs HSIC)
 
【論文読み会】Moser Flow: Divergence-based Generative Modeling on Manifolds
【論文読み会】Moser Flow: Divergence-based Generative Modeling on Manifolds【論文読み会】Moser Flow: Divergence-based Generative Modeling on Manifolds
【論文読み会】Moser Flow: Divergence-based Generative Modeling on Manifolds
 
[DL輪読会]GLIDE: Guided Language to Image Diffusion for Generation and Editing
[DL輪読会]GLIDE: Guided Language to Image Diffusion for Generation and Editing[DL輪読会]GLIDE: Guided Language to Image Diffusion for Generation and Editing
[DL輪読会]GLIDE: Guided Language to Image Diffusion for Generation and Editing
 
最適輸送の解き方
最適輸送の解き方最適輸送の解き方
最適輸送の解き方
 
【DL輪読会】DreamBooth: Fine Tuning Text-to-Image Diffusion Models for Subject-Dri...
【DL輪読会】DreamBooth: Fine Tuning Text-to-Image Diffusion Models for Subject-Dri...【DL輪読会】DreamBooth: Fine Tuning Text-to-Image Diffusion Models for Subject-Dri...
【DL輪読会】DreamBooth: Fine Tuning Text-to-Image Diffusion Models for Subject-Dri...
 

Similar to 【論文レベルで理解しよう！】​ 欠測値処理編​

[DL輪読会]Non-Autoregressive Machine Translation with Latent Alignments
[DL輪読会]Non-Autoregressive Machine Translation with Latent Alignments[DL輪読会]Non-Autoregressive Machine Translation with Latent Alignments
[DL輪読会]Non-Autoregressive Machine Translation with Latent AlignmentsDeep Learning JP
 
ディープラーニング入門 ～ 画像処理・自然言語処理について ～
ディープラーニング入門 ～ 画像処理・自然言語処理について ～ディープラーニング入門 ～ 画像処理・自然言語処理について ～
ディープラーニング入門 ～ 画像処理・自然言語処理について ～Kensuke Otsuki
 
頻度論とベイズ論と誤差最小化について
頻度論とベイズ論と誤差最小化について頻度論とベイズ論と誤差最小化について
頻度論とベイズ論と誤差最小化についてShohei Miyashita
 
ロジスティック回帰入門
ロジスティック回帰入門ロジスティック回帰入門
ロジスティック回帰入門y-uti
 
効果測定入門 Rによる傾向スコア解析
効果測定入門 Rによる傾向スコア解析効果測定入門 Rによる傾向スコア解析
効果測定入門 Rによる傾向スコア解析aa_aa_aa
 
修士論文発表：「非負値行列分解における漸近的Bayes汎化誤差」
修士論文発表：「非負値行列分解における漸近的Bayes汎化誤差」修士論文発表：「非負値行列分解における漸近的Bayes汎化誤差」
修士論文発表：「非負値行列分解における漸近的Bayes汎化誤差」Naoki Hayashi
 
Deep Learningについて（改訂版）
Deep Learningについて（改訂版）Deep Learningについて（改訂版）
Deep Learningについて（改訂版）Brains Consulting, Inc.
 
Coursera machine learning week6
Coursera machine learning week6Coursera machine learning week6
Coursera machine learning week6Kikuya Takumi
 
20190512 bayes hands-on
20190512 bayes hands-on20190512 bayes hands-on
20190512 bayes hands-onYoichi Tokita
 

Similar to 【論文レベルで理解しよう！】​ 欠測値処理編​ (10)

[DL輪読会]Non-Autoregressive Machine Translation with Latent Alignments
[DL輪読会]Non-Autoregressive Machine Translation with Latent Alignments[DL輪読会]Non-Autoregressive Machine Translation with Latent Alignments
[DL輪読会]Non-Autoregressive Machine Translation with Latent Alignments
 
ディープラーニング入門 ～ 画像処理・自然言語処理について ～
ディープラーニング入門 ～ 画像処理・自然言語処理について ～ディープラーニング入門 ～ 画像処理・自然言語処理について ～
ディープラーニング入門 ～ 画像処理・自然言語処理について ～
 
頻度論とベイズ論と誤差最小化について
頻度論とベイズ論と誤差最小化について頻度論とベイズ論と誤差最小化について
頻度論とベイズ論と誤差最小化について
 
ロジスティック回帰入門
ロジスティック回帰入門ロジスティック回帰入門
ロジスティック回帰入門
 
効果測定入門 Rによる傾向スコア解析
効果測定入門 Rによる傾向スコア解析効果測定入門 Rによる傾向スコア解析
効果測定入門 Rによる傾向スコア解析
 
修士論文発表：「非負値行列分解における漸近的Bayes汎化誤差」
修士論文発表：「非負値行列分解における漸近的Bayes汎化誤差」修士論文発表：「非負値行列分解における漸近的Bayes汎化誤差」
修士論文発表：「非負値行列分解における漸近的Bayes汎化誤差」
 
Deep Learningについて（改訂版）
Deep Learningについて（改訂版）Deep Learningについて（改訂版）
Deep Learningについて（改訂版）
 
Extract and edit
Extract and editExtract and edit
Extract and edit
 
Coursera machine learning week6
Coursera machine learning week6Coursera machine learning week6
Coursera machine learning week6
 
20190512 bayes hands-on
20190512 bayes hands-on20190512 bayes hands-on
20190512 bayes hands-on
 

More from ARISE analytics

【第3回生成AIなんでもLT会資料】_動画生成AIと物理法則_v0.2.pptx
【第3回生成AIなんでもLT会資料】_動画生成AIと物理法則_v0.2.pptx【第3回生成AIなんでもLT会資料】_動画生成AIと物理法則_v0.2.pptx
【第3回生成AIなんでもLT会資料】_動画生成AIと物理法則_v0.2.pptxARISE analytics
 
【第3回】生成AIなんでもLT会 2024_0304なんでも生成AI_sergicalsix.pptx
【第3回】生成AIなんでもLT会 2024_0304なんでも生成AI_sergicalsix.pptx【第3回】生成AIなんでもLT会 2024_0304なんでも生成AI_sergicalsix.pptx
【第3回】生成AIなんでもLT会 2024_0304なんでも生成AI_sergicalsix.pptxARISE analytics
 
めんどうな環境構築とはおさらば！Dockerの概要と使い方
めんどうな環境構築とはおさらば！Dockerの概要と使い方めんどうな環境構築とはおさらば！Dockerの概要と使い方
めんどうな環境構築とはおさらば！Dockerの概要と使い方ARISE analytics
 
【論文レベルで理解しよう！】​ 大規模言語モデル(LLM)編​
【論文レベルで理解しよう！】​ 大規模言語モデル(LLM)編​【論文レベルで理解しよう！】​ 大規模言語モデル(LLM)編​
【論文レベルで理解しよう！】​ 大規模言語モデル(LLM)編​ARISE analytics
 
【論文読み会】Signing at Scale: Learning to Co-Articulate Signs for Large-Scale Pho...
【論文読み会】Signing at Scale: Learning to Co-Articulate Signs for Large-Scale Pho...【論文読み会】Signing at Scale: Learning to Co-Articulate Signs for Large-Scale Pho...
【論文読み会】Signing at Scale: Learning to Co-Articulate Signs for Large-Scale Pho...ARISE analytics
 
Hierarchical Metadata-Aware Document Categorization under Weak Supervision​ (...
Hierarchical Metadata-Aware Document Categorization under Weak Supervision​ (...Hierarchical Metadata-Aware Document Categorization under Weak Supervision​ (...
Hierarchical Metadata-Aware Document Categorization under Weak Supervision​ (...ARISE analytics
 
教師なしGNNによるIoTデバイスの異常通信検知の検討
教師なしGNNによるIoTデバイスの異常通信検知の検討教師なしGNNによるIoTデバイスの異常通信検知の検討
教師なしGNNによるIoTデバイスの異常通信検知の検討ARISE analytics
 
【論文読み会】Pyraformer_Low-Complexity Pyramidal Attention for Long-Range Time Seri...
【論文読み会】Pyraformer_Low-Complexity Pyramidal Attention for Long-Range Time Seri...【論文読み会】Pyraformer_Low-Complexity Pyramidal Attention for Long-Range Time Seri...
【論文読み会】Pyraformer_Low-Complexity Pyramidal Attention for Long-Range Time Seri...ARISE analytics
 
【論文読み会】Analytic-DPM_an Analytic Estimate of the Optimal Reverse Variance in D...
【論文読み会】Analytic-DPM_an Analytic Estimate of the Optimal Reverse Variance in D...【論文読み会】Analytic-DPM_an Analytic Estimate of the Optimal Reverse Variance in D...
【論文読み会】Analytic-DPM_an Analytic Estimate of the Optimal Reverse Variance in D...ARISE analytics
 
【論文読み会】Autoregressive Diffusion Models.pptx
【論文読み会】Autoregressive Diffusion Models.pptx【論文読み会】Autoregressive Diffusion Models.pptx
【論文読み会】Autoregressive Diffusion Models.pptxARISE analytics
 
【論文読み会】BEiT_BERT Pre-Training of Image Transformers.pptx
【論文読み会】BEiT_BERT Pre-Training of Image Transformers.pptx【論文読み会】BEiT_BERT Pre-Training of Image Transformers.pptx
【論文読み会】BEiT_BERT Pre-Training of Image Transformers.pptxARISE analytics
 
【論文読み会】PiCO_Contrastive Label Disambiguation for Partial Label Learning.pptx
【論文読み会】PiCO_Contrastive Label Disambiguation for Partial Label Learning.pptx【論文読み会】PiCO_Contrastive Label Disambiguation for Partial Label Learning.pptx
【論文読み会】PiCO_Contrastive Label Disambiguation for Partial Label Learning.pptxARISE analytics
 
【論文読み会】Deep Reinforcement Learning at the Edge of the Statistical Precipice
【論文読み会】Deep Reinforcement Learning at the Edge of the Statistical Precipice【論文読み会】Deep Reinforcement Learning at the Edge of the Statistical Precipice
【論文読み会】Deep Reinforcement Learning at the Edge of the Statistical PrecipiceARISE analytics
 
【論文読み会】Alias-Free Generative Adversarial Networks（StyleGAN3）
【論文読み会】Alias-Free Generative Adversarial Networks（StyleGAN3）【論文読み会】Alias-Free Generative Adversarial Networks（StyleGAN3）
【論文読み会】Alias-Free Generative Adversarial Networks（StyleGAN3）ARISE analytics
 
【論文読み会】On the Expressivity of Markov Reward
【論文読み会】On the Expressivity of Markov Reward【論文読み会】On the Expressivity of Markov Reward
【論文読み会】On the Expressivity of Markov RewardARISE analytics
 
【論文読み会】MAUVE: Measuring the Gap Between Neural Text and Human Text using Dive...
【論文読み会】MAUVE: Measuring the Gap Between Neural Text and Human Text using Dive...【論文読み会】MAUVE: Measuring the Gap Between Neural Text and Human Text using Dive...
【論文読み会】MAUVE: Measuring the Gap Between Neural Text and Human Text using Dive...ARISE analytics
 
Counterfaual Machine Learning（CFML）のサーベイ
Counterfaual Machine Learning（CFML）のサーベイCounterfaual Machine Learning（CFML）のサーベイ
Counterfaual Machine Learning（CFML）のサーベイARISE analytics
 
【論文読み会】Deep Clustering for Unsupervised Learning of Visual Features
【論文読み会】Deep Clustering for Unsupervised Learning of Visual Features【論文読み会】Deep Clustering for Unsupervised Learning of Visual Features
【論文読み会】Deep Clustering for Unsupervised Learning of Visual FeaturesARISE analytics
 
【論文読み会】Self-Attention Generative Adversarial Networks
【論文読み会】Self-Attention Generative Adversarial Networks【論文読み会】Self-Attention Generative Adversarial Networks
【論文読み会】Self-Attention Generative Adversarial NetworksARISE analytics
 
【論文読み会】Universal Language Model Fine-tuning for Text Classification
【論文読み会】Universal Language Model Fine-tuning for Text Classification【論文読み会】Universal Language Model Fine-tuning for Text Classification
【論文読み会】Universal Language Model Fine-tuning for Text ClassificationARISE analytics
 

More from ARISE analytics (20)

【第3回生成AIなんでもLT会資料】_動画生成AIと物理法則_v0.2.pptx
【第3回生成AIなんでもLT会資料】_動画生成AIと物理法則_v0.2.pptx【第3回生成AIなんでもLT会資料】_動画生成AIと物理法則_v0.2.pptx
【第3回生成AIなんでもLT会資料】_動画生成AIと物理法則_v0.2.pptx
 
【第3回】生成AIなんでもLT会 2024_0304なんでも生成AI_sergicalsix.pptx
【第3回】生成AIなんでもLT会 2024_0304なんでも生成AI_sergicalsix.pptx【第3回】生成AIなんでもLT会 2024_0304なんでも生成AI_sergicalsix.pptx
【第3回】生成AIなんでもLT会 2024_0304なんでも生成AI_sergicalsix.pptx
 
めんどうな環境構築とはおさらば！Dockerの概要と使い方
めんどうな環境構築とはおさらば！Dockerの概要と使い方めんどうな環境構築とはおさらば！Dockerの概要と使い方
めんどうな環境構築とはおさらば！Dockerの概要と使い方
 
【論文レベルで理解しよう！】​ 大規模言語モデル(LLM)編​
【論文レベルで理解しよう！】​ 大規模言語モデル(LLM)編​【論文レベルで理解しよう！】​ 大規模言語モデル(LLM)編​
【論文レベルで理解しよう！】​ 大規模言語モデル(LLM)編​
 
【論文読み会】Signing at Scale: Learning to Co-Articulate Signs for Large-Scale Pho...
【論文読み会】Signing at Scale: Learning to Co-Articulate Signs for Large-Scale Pho...【論文読み会】Signing at Scale: Learning to Co-Articulate Signs for Large-Scale Pho...
【論文読み会】Signing at Scale: Learning to Co-Articulate Signs for Large-Scale Pho...
 
Hierarchical Metadata-Aware Document Categorization under Weak Supervision​ (...
Hierarchical Metadata-Aware Document Categorization under Weak Supervision​ (...Hierarchical Metadata-Aware Document Categorization under Weak Supervision​ (...
Hierarchical Metadata-Aware Document Categorization under Weak Supervision​ (...
 
教師なしGNNによるIoTデバイスの異常通信検知の検討
教師なしGNNによるIoTデバイスの異常通信検知の検討教師なしGNNによるIoTデバイスの異常通信検知の検討
教師なしGNNによるIoTデバイスの異常通信検知の検討
 
【論文読み会】Pyraformer_Low-Complexity Pyramidal Attention for Long-Range Time Seri...
【論文読み会】Pyraformer_Low-Complexity Pyramidal Attention for Long-Range Time Seri...【論文読み会】Pyraformer_Low-Complexity Pyramidal Attention for Long-Range Time Seri...
【論文読み会】Pyraformer_Low-Complexity Pyramidal Attention for Long-Range Time Seri...
 
【論文読み会】Analytic-DPM_an Analytic Estimate of the Optimal Reverse Variance in D...
【論文読み会】Analytic-DPM_an Analytic Estimate of the Optimal Reverse Variance in D...【論文読み会】Analytic-DPM_an Analytic Estimate of the Optimal Reverse Variance in D...
【論文読み会】Analytic-DPM_an Analytic Estimate of the Optimal Reverse Variance in D...
 
【論文読み会】Autoregressive Diffusion Models.pptx
【論文読み会】Autoregressive Diffusion Models.pptx【論文読み会】Autoregressive Diffusion Models.pptx
【論文読み会】Autoregressive Diffusion Models.pptx
 
【論文読み会】BEiT_BERT Pre-Training of Image Transformers.pptx
【論文読み会】BEiT_BERT Pre-Training of Image Transformers.pptx【論文読み会】BEiT_BERT Pre-Training of Image Transformers.pptx
【論文読み会】BEiT_BERT Pre-Training of Image Transformers.pptx
 
【論文読み会】PiCO_Contrastive Label Disambiguation for Partial Label Learning.pptx
【論文読み会】PiCO_Contrastive Label Disambiguation for Partial Label Learning.pptx【論文読み会】PiCO_Contrastive Label Disambiguation for Partial Label Learning.pptx
【論文読み会】PiCO_Contrastive Label Disambiguation for Partial Label Learning.pptx
 
【論文読み会】Deep Reinforcement Learning at the Edge of the Statistical Precipice
【論文読み会】Deep Reinforcement Learning at the Edge of the Statistical Precipice【論文読み会】Deep Reinforcement Learning at the Edge of the Statistical Precipice
【論文読み会】Deep Reinforcement Learning at the Edge of the Statistical Precipice
 
【論文読み会】Alias-Free Generative Adversarial Networks（StyleGAN3）
【論文読み会】Alias-Free Generative Adversarial Networks（StyleGAN3）【論文読み会】Alias-Free Generative Adversarial Networks（StyleGAN3）
【論文読み会】Alias-Free Generative Adversarial Networks（StyleGAN3）
 
【論文読み会】On the Expressivity of Markov Reward
【論文読み会】On the Expressivity of Markov Reward【論文読み会】On the Expressivity of Markov Reward
【論文読み会】On the Expressivity of Markov Reward
 
【論文読み会】MAUVE: Measuring the Gap Between Neural Text and Human Text using Dive...
【論文読み会】MAUVE: Measuring the Gap Between Neural Text and Human Text using Dive...【論文読み会】MAUVE: Measuring the Gap Between Neural Text and Human Text using Dive...
【論文読み会】MAUVE: Measuring the Gap Between Neural Text and Human Text using Dive...
 
Counterfaual Machine Learning（CFML）のサーベイ
Counterfaual Machine Learning（CFML）のサーベイCounterfaual Machine Learning（CFML）のサーベイ
Counterfaual Machine Learning（CFML）のサーベイ
 
【論文読み会】Deep Clustering for Unsupervised Learning of Visual Features
【論文読み会】Deep Clustering for Unsupervised Learning of Visual Features【論文読み会】Deep Clustering for Unsupervised Learning of Visual Features
【論文読み会】Deep Clustering for Unsupervised Learning of Visual Features
 
【論文読み会】Self-Attention Generative Adversarial Networks
【論文読み会】Self-Attention Generative Adversarial Networks【論文読み会】Self-Attention Generative Adversarial Networks
【論文読み会】Self-Attention Generative Adversarial Networks
 
【論文読み会】Universal Language Model Fine-tuning for Text Classification
【論文読み会】Universal Language Model Fine-tuning for Text Classification【論文読み会】Universal Language Model Fine-tuning for Text Classification
【論文読み会】Universal Language Model Fine-tuning for Text Classification
 

Recently uploaded

AWS の OpenShift サービス (ROSA) を使った OpenShift Virtualizationの始め方.pdf
AWS の OpenShift サービス (ROSA) を使った OpenShift Virtualizationの始め方.pdfAWS の OpenShift サービス (ROSA) を使った OpenShift Virtualizationの始め方.pdf
AWS の OpenShift サービス (ROSA) を使った OpenShift Virtualizationの始め方.pdfFumieNakayama
 
デジタル・フォレンジックの最新動向（2024年4月27日情洛会総会特別講演スライド）
デジタル・フォレンジックの最新動向（2024年4月27日情洛会総会特別講演スライド）デジタル・フォレンジックの最新動向（2024年4月27日情洛会総会特別講演スライド）
デジタル・フォレンジックの最新動向（2024年4月27日情洛会総会特別講演スライド）UEHARA, Tetsutaro
 
モーダル間の変換後の一致性とジャンル表を用いた解釈可能性の考察 ～Text-to-MusicとText-To-ImageかつImage-to-Music...
モーダル間の変換後の一致性とジャンル表を用いた解釈可能性の考察 ～Text-to-MusicとText-To-ImageかつImage-to-Music...モーダル間の変換後の一致性とジャンル表を用いた解釈可能性の考察 ～Text-to-MusicとText-To-ImageかつImage-to-Music...
モーダル間の変換後の一致性とジャンル表を用いた解釈可能性の考察 ～Text-to-MusicとText-To-ImageかつImage-to-Music...博三 太田
 
TataPixel: 畳の異方性を利用した切り替え可能なディスプレイの提案
TataPixel: 畳の異方性を利用した切り替え可能なディスプレイの提案TataPixel: 畳の異方性を利用した切り替え可能なディスプレイの提案
TataPixel: 畳の異方性を利用した切り替え可能なディスプレイの提案sugiuralab
 
NewSQLの可用性構成パターン（OCHaCafe Season 8 #4 発表資料）
NewSQLの可用性構成パターン（OCHaCafe Season 8 #4 発表資料）NewSQLの可用性構成パターン（OCHaCafe Season 8 #4 発表資料）
NewSQLの可用性構成パターン（OCHaCafe Season 8 #4 発表資料）NTT DATA Technology & Innovation
 
クラウドネイティブなサーバー仮想化基盤 - OpenShift Virtualization.pdf
クラウドネイティブなサーバー仮想化基盤 - OpenShift Virtualization.pdfクラウドネイティブなサーバー仮想化基盤 - OpenShift Virtualization.pdf
クラウドネイティブなサーバー仮想化基盤 - OpenShift Virtualization.pdfFumieNakayama
 
CTO, VPoE, テックリードなどリーダーポジションに登用したくなるのはどんな人材か？
CTO, VPoE, テックリードなどリーダーポジションに登用したくなるのはどんな人材か？CTO, VPoE, テックリードなどリーダーポジションに登用したくなるのはどんな人材か？
CTO, VPoE, テックリードなどリーダーポジションに登用したくなるのはどんな人材か？akihisamiyanaga1
 
自分史上一番早い2024振り返り〜コロナ後、仕事は通常ペースに戻ったか〜 by IoT fullstack engineer
自分史上一番早い2024振り返り〜コロナ後、仕事は通常ペースに戻ったか〜 by IoT fullstack engineer自分史上一番早い2024振り返り〜コロナ後、仕事は通常ペースに戻ったか〜 by IoT fullstack engineer
自分史上一番早い2024振り返り〜コロナ後、仕事は通常ペースに戻ったか〜 by IoT fullstack engineerYuki Kikuchi
 
業務で生成AIを活用したい人のための生成AI入門講座（社外公開版：キンドリルジャパン社内勉強会：2024年4月発表）
業務で生成AIを活用したい人のための生成AI入門講座（社外公開版：キンドリルジャパン社内勉強会：2024年4月発表）業務で生成AIを活用したい人のための生成AI入門講座（社外公開版：キンドリルジャパン社内勉強会：2024年4月発表）
業務で生成AIを活用したい人のための生成AI入門講座（社外公開版：キンドリルジャパン社内勉強会：2024年4月発表）Hiroshi Tomioka
 

Recently uploaded (9)

AWS の OpenShift サービス (ROSA) を使った OpenShift Virtualizationの始め方.pdf
AWS の OpenShift サービス (ROSA) を使った OpenShift Virtualizationの始め方.pdfAWS の OpenShift サービス (ROSA) を使った OpenShift Virtualizationの始め方.pdf
AWS の OpenShift サービス (ROSA) を使った OpenShift Virtualizationの始め方.pdf
 
デジタル・フォレンジックの最新動向（2024年4月27日情洛会総会特別講演スライド）
デジタル・フォレンジックの最新動向（2024年4月27日情洛会総会特別講演スライド）デジタル・フォレンジックの最新動向（2024年4月27日情洛会総会特別講演スライド）
デジタル・フォレンジックの最新動向（2024年4月27日情洛会総会特別講演スライド）
 
モーダル間の変換後の一致性とジャンル表を用いた解釈可能性の考察 ～Text-to-MusicとText-To-ImageかつImage-to-Music...
モーダル間の変換後の一致性とジャンル表を用いた解釈可能性の考察 ～Text-to-MusicとText-To-ImageかつImage-to-Music...モーダル間の変換後の一致性とジャンル表を用いた解釈可能性の考察 ～Text-to-MusicとText-To-ImageかつImage-to-Music...
モーダル間の変換後の一致性とジャンル表を用いた解釈可能性の考察 ～Text-to-MusicとText-To-ImageかつImage-to-Music...
 
TataPixel: 畳の異方性を利用した切り替え可能なディスプレイの提案
TataPixel: 畳の異方性を利用した切り替え可能なディスプレイの提案TataPixel: 畳の異方性を利用した切り替え可能なディスプレイの提案
TataPixel: 畳の異方性を利用した切り替え可能なディスプレイの提案
 
NewSQLの可用性構成パターン（OCHaCafe Season 8 #4 発表資料）
NewSQLの可用性構成パターン（OCHaCafe Season 8 #4 発表資料）NewSQLの可用性構成パターン（OCHaCafe Season 8 #4 発表資料）
NewSQLの可用性構成パターン（OCHaCafe Season 8 #4 発表資料）
 
クラウドネイティブなサーバー仮想化基盤 - OpenShift Virtualization.pdf
クラウドネイティブなサーバー仮想化基盤 - OpenShift Virtualization.pdfクラウドネイティブなサーバー仮想化基盤 - OpenShift Virtualization.pdf
クラウドネイティブなサーバー仮想化基盤 - OpenShift Virtualization.pdf
 
CTO, VPoE, テックリードなどリーダーポジションに登用したくなるのはどんな人材か？
CTO, VPoE, テックリードなどリーダーポジションに登用したくなるのはどんな人材か？CTO, VPoE, テックリードなどリーダーポジションに登用したくなるのはどんな人材か？
CTO, VPoE, テックリードなどリーダーポジションに登用したくなるのはどんな人材か？
 
自分史上一番早い2024振り返り〜コロナ後、仕事は通常ペースに戻ったか〜 by IoT fullstack engineer
自分史上一番早い2024振り返り〜コロナ後、仕事は通常ペースに戻ったか〜 by IoT fullstack engineer自分史上一番早い2024振り返り〜コロナ後、仕事は通常ペースに戻ったか〜 by IoT fullstack engineer
自分史上一番早い2024振り返り〜コロナ後、仕事は通常ペースに戻ったか〜 by IoT fullstack engineer
 
業務で生成AIを活用したい人のための生成AI入門講座（社外公開版：キンドリルジャパン社内勉強会：2024年4月発表）
業務で生成AIを活用したい人のための生成AI入門講座（社外公開版：キンドリルジャパン社内勉強会：2024年4月発表）業務で生成AIを活用したい人のための生成AI入門講座（社外公開版：キンドリルジャパン社内勉強会：2024年4月発表）
業務で生成AIを活用したい人のための生成AI入門講座（社外公開版：キンドリルジャパン社内勉強会：2024年4月発表）
 

【論文レベルで理解しよう！】​ 欠測値処理編​

  • 1. 【論文レベルで理解しよう！】 欠測値処理編 株式会社ARISE analytics MS Div. Service Growth Unit auCL UX Team 田中卓磨 ©2023 ARISE analytics Reserved. 2023/09/01
  • 2. 目次 ©2023 ARISE analytics Reserved. 👹：余裕があれば聞いてほしい １ 2 4 5 論文紹介 欠測値補完まとめ 欠測への対応一覧 欠測値補完の比較検証 3 欠測値を含む回帰問題の性質👹
  • 4. 論文紹介 ©2023 ARISE analytics Reserved. 3 業務上欠測値を扱うことが多いため、その扱いに関する論文をNeurIPSから紹介。 論文情報 著者：Marine Le Morvan, Julie Josse, Erwan Scornet, Gaël Varoquaux. 題目：What’s a good imputation to predict with missing values? 出典：35th Conference on Neural Information Processing Systems (NeurIPS 2021) 概要：欠測値を含む回帰はどのように扱えば良い結果が得られるのか。本論文では Impute-then-regress によってベイズ最適を得られることを示す。ただ補完方法によって回帰の難しさが変動するので、 補完と回帰を同時に行う NeuMiss という手法が欠測値を含む回帰に効果的だと提案している。 紹介理由 実務上のデータの欠測値が多すぎるが、そのデータを使って機械学習をやる必要がある。 → 欠測値の処理に関する論文を読もう。
  • 6. 欠測データの対処法 ©2023 ARISE analytics Reserved. 5 欠測データへの対処法について様々なものがあるので紹介する。後ほど性能を比較する。 ⚫ 欠測データの除去 (論文に未記載のため、今回比較に含めない) • 欠測が1つでもあるデータを省く。データの分布に影響を与えるのでよくない。 ⚫ 平均値による欠測値補完 • 欠測値を観測値の平均値で補完する。データの分布に影響を与えるのでよくない。 ⚫ GBDT/RandomForest での欠測対応 • 欠測値をそのまま特別扱いする。詳細は次ページ。 ⚫ EMアルゴリズムでの最尤推定 (論文に未記載のため、今回比較に含めない) • 観測値からなる尤度を計算し、尤度をもとに回帰を行う。 ⚫ MICEによる欠測値補完 • 回帰代入法を繰り返し適用することで欠測値を補完する。詳細は次ページ以降。 ⚫ NeuMiss での欠測補完と回帰の同時実行 ←今回推奨 • ニューラルネットワークを用いて欠測値の補完と回帰の学習を同時に行う。詳細は次ページ以降。
  • 7. GBDT/RandomForestの欠測対応 ©2023 ARISE analytics Reserved. 6 GBDT(勾配ブースティング)系モデルにNaNが入るのってナンでなん？ - Qiita 木の成長の際に分割点と欠測値の分け方を全通り試し、lossが最小となる選択をする。 • SklearnもLightGBMも XGBoostも同様の欠測 値処理を行っている。 • カテゴリ変数の場合はあ るカテゴリであるかどうかの Yes or Noで分岐する が、欠測値は必ず No に振り分けられる。 備考 X=2.0 Y=3.0 X=4.0 Y=4.0 X=8.0 Y=1.0 X=NA Y=2.0 非欠測データ 欠測データ X=NA Y=6.0 分割点 x NAの左右分けを全通り試す X=2.0 Y=3.0 X=4.0 Y=4.0 X=8.0 Y=1.0 X=NA Y=2.0 X=NA Y=6.0 分割点=3, NA=右 分割点=3 X=2.0 Y=3.0 X=4.0 Y=4.0 X=8.0 Y=1.0 X=NA Y=2.0 X=NA Y=6.0 分割点=3 Loss: 14.8 Loss: 14.75 分割点=3, NA=左 Loss: 13.17 … 全通りから最小のlossを選択
  • 8. MICE詳細説明 ©2023 ARISE analytics Reserved. 7 多重代入法(2)：データの欠測に補完値を代入する（miceパッケージ） [R] - ねこすたっと (hatenablog.jp) 欠測値に適当な初期値を与え、回帰代入法による各特徴量への補完を繰り返す手法 • 実装上では sklearn.impute.Iter ativeImputerを使えば 簡単に行える。 • 本論文では欠測値の回 帰代入法に線形回帰を 用いているが、もっと表現 力の高いモデルを用いて もよい。 備考 適当な初期値を代入 欠測箇所をもとに戻す 回帰により欠測補完 回帰により欠測補完 回帰により欠測補完 欠測箇所をもとに戻す
  • 9. NeuMiss詳細説明 ©2023 ARISE analytics Reserved. 8 NeuMiss networks: differentiable programming for supervised learning with missing values. (neurips.cc) ニューラルネットワークを用いて、欠測値補完と回帰を同時に行う手法 変数Xがガウス分布に従うとき、観測値 𝑋𝑜𝑏𝑠 が与えられたときの欠測値 𝑋𝑚𝑖𝑠の期待値 𝐸 𝑋𝑚𝑖𝑠|𝑋𝑜𝑏𝑠 = 𝜇𝑚𝑖𝑠 + Σ𝑚𝑖𝑠,𝑜𝑏𝑠 Σ𝑜𝑏𝑠 −1 𝑋𝑜𝑏𝑠 − 𝜇𝑜𝑏𝑠 漸化式 𝑆(𝑛+1) = 𝐼 − Σ𝑜𝑏𝑠 𝑆(𝑛) + 𝐼 の極限 lim 𝑛→∞ 𝑆(𝑛) = Σ𝑜𝑏𝑠 −1 より、 モデルとして、ガウス分布を仮定した欠測値補完を含んでいる。(重みが青の場合) 𝜇𝑚𝑖𝑠 𝑋𝑜𝑏𝑠 − 𝜇𝑜𝑏𝑠 Σ𝑜𝑏𝑠 −1 𝑋𝑜𝑏𝑠 − 𝜇𝑜𝑏𝑠 𝑋𝑜𝑏𝑠 𝑚 : 𝑥𝑗 が欠測のとき 𝑚𝑗 = 1 、観測のとき 𝑚𝑗 = 0 𝑋𝑜𝑏𝑠 𝜇𝑜𝑏𝑠
  • 11. 問題設定 ©2023 ARISE analytics Reserved. 10 説明変数に欠測値を含んだ回帰問題を考える。 • データ生成仮定：完全データ 𝑋 ∈ ℝ𝑑 と真の回帰関数 𝑓∗:ℝ𝑑 → ℝ とランダムノイズ 𝜖 ∈ ℝ から構成 𝑌 = 𝑓∗ 𝑋 + 𝜖, 𝔼 𝜖 𝑋𝑜𝑏𝑠(𝑀),𝑀 = 0 • データ欠測：欠測指示ベクトル 𝑀 ∈ 0,1 𝑑 により、欠測データ ෨ 𝑋 ∈ ℝ ∪ 𝑁𝐴 𝑑 が生成 ෨ 𝑋𝑗 = ൝ 𝑋𝑗, 𝑀𝑗 = 0 𝑁𝐴, 𝑀𝑗 = 1 • 欠測を含む回帰の評価(リスク) 上記のリスクを最小にする関数 ሚ 𝑓∗ : ℝ ∪ 𝑁𝐴 𝑑 → ℝ をベイズ予測器と呼び、 ベイズ予測器のリスクと同等のリスクを達成する関数 𝑓: ℝ ∪ 𝑁𝐴 𝑑 → ℝ をベイズ最適と呼ぶ。 ベイズ最適を得るにはどうすれば良いか考える。
  • 12. Impute-then-regress ©2023 ARISE analytics Reserved. 11 一般的には欠測値を補完したのちに回帰問題を解くことが行われる。 (論文中では Impute-then-regress と呼ぶ) 欠測補完関数 Φ と回帰関数 𝑔の合成関数である𝑔 ∘ Φ(⋯ )を欠測を含む回帰関数として用いる また、欠測補完関数 Φ ∈ ℱ𝐼 に対してリスクを最小にする回帰関数を 𝑔Φ ∗ とする。 平均値補完・MICE・NeuMissなどが これに該当する。 Impute-then-regress 𝒈𝚽 ∗ ∘ 𝚽 はベイズ最適を達成することができるのか。 (できるとすればどのような条件があるのか) 観測値ならそのまま 欠測値なら観測値からデータ補完
  • 13. 論文の主張 ©2023 ARISE analytics Reserved. 12 補完関数と回帰関数の関係性として、その組合せによりベイズ最適が得られること、どちら か一方が完璧だと、もう片方は学習困難なものとなることが示された。 補完と回帰を同時に学習し、両者の塩梅を上手くとれる NeuMiss は強い どんな補間関数Φならいいの? どんな補間関数Φならいいの? • ほとんどすべての無限回微分可能な補完関数 Φ に対して、𝑔𝛷 ∗ ∘ Φ はベイズ最適 → どんな補完でも最適な回帰は理論上可能 でもそれって実用上学習困難(不連続)だったりしないの? どんな補間関数Φならいいの? • 補完関数として条件付き期待値を完璧に表せたとしても、真の回帰関数 𝑓∗ を適用してベイズ最適となるとは 限らない。またそうならない場合、不連続関数を回帰に用いるとベイズ最適になる。(不連続関数は学習困難) → 補完が完璧すぎると、回帰が難しい • 逆に真の回帰関数 𝑓∗ を適用してベイズ最適を目指すとき、補完関数 Φ は不連続となることも → 回帰が完璧でも、補完がうまくいくとは限らない
  • 15. 豆知識：欠測メカニズムの種類 ©2023 ARISE analytics Reserved. 14 欠測は、そのメカニズムから、MCAR・MAR・MNARの3種類に分けられる。 MCAR・MARは統計的手法を用いた欠測値補完が比較的容易だが、 MNARは一般的にメカニズムを知り、その専用の補完モデルを作成する必要がある。 • Missing Completely At Random (MCAR) • 完全にランダムに欠測が発生している。データの値に全く依存しない。 • Ex) 機械のバグで実験の測定値が欠測する。 • Missing At Random (MAR) • 観測されているデータの値にのみ依存して確率的に欠測する。 • Ex) グレードが高い社員ほどアンケートの欠測率が小さくなる。 • Missing Not At Random (MNAR) • 欠測したデータの値に依存して確率的に欠測する。 • Ex) 年収が低い社員ほど年収の公開せず欠測率が大きくなる。 欠測値補完 難易度 易 難
  • 16. 欠測を含む回帰の精度比較実験 ©2023 ARISE analytics Reserved. 15 ① 完璧な補完関数と真の回帰関数を繋げた としても、非線形性が高く、変数間の相関 が低い場合は、回帰に失敗する ② 完璧な補完関数を使った連続関数での回 帰はベイズ最適にならない ③ マスク情報を入れることはMNARのとき有効 である。→ 「欠測した」という情報が大事 ④ Oracleを用いない手法の中でNeuMiss が一番精度が良い • Maskとは回帰の説明変数Xに欠測か否か の0/1(M)情報を入れること • Oracle: データの生成仮定などの実際には 本来利用できない情報。およびそれを用い た理論上最適な予測器のこと。 考察 ① ③ ② ④ ④ ② ① 真の回帰関数 𝑓∗ 𝑋 = ℎ∗ (𝛽𝑇 𝑋 + 𝛽0) や説明変数の相関、欠測メカニズムを変えて各手法で回帰を行い、 ベイズ最適との差を確かめる。
  • 18. まとめ ©2023 ARISE analytics Reserved. 17 • Impute-then-regress は欠測メカニズムに関わらず、欠測を含む回帰 に効果的な手法である。しかし、補完関数によって、学習の難しさが変わっ てしまうため、データに適した補完を行うことが重要。 • 補完と回帰を同時に行うニューラルネットワークを用いた手法 NeuMiss は GBDTや他の補完法と比較して良い精度が得られる。 • GBDT < 平均値補完+mask+NN < MICE+mask+NN < NeuMiss 欠測値は無下に扱わず、補完は適切に行うことが大切。 ここで紹介できなかったEMアルゴリズムでの最尤推定や多重代入法といった別のアプローチや、 生存時間分析での欠測処理(カプランマイヤー法)など、欠測処理は学ぶことが多い。
  • 19. Best Partner for innovation, Best Creator for the future.