Submit Search
Upload
Learning to forget continual prediction with lstm
•
29 likes
•
68,757 views
Fujimoto Keisuke
Follow
第29回CV勉強会@関東 有名論文読み会発表資料
Read less
Read more
Report
Share
Report
Share
1 of 28
Download now
Download to read offline
Recommended
Recurrent Neural Networks
Recurrent Neural Networks
Seiya Tokui
2014年10月30日のPFIセミナーで話したRecurrent Neural Networksの話です。LSTMの解説と4つの応用の紹介を含みます(機械翻訳、簡単なPythonコードの実行、Neural Turing Machines、Visual Attention)。
LSTM (Long short-term memory) 概要
LSTM (Long short-term memory) 概要
Kenji Urai
機械学習勉強会の資料です.LSTM (Long short-term memory) について理解するために,単純なニューラルネットから話を進めていきます.
動作認識の最前線:手法,タスク,データセット
動作認識の最前線:手法,タスク,データセット
Toru Tamaki
動作認識の最前線:手法,タスク,データセット 精密工学会 画像応用技術専門委員会, 2022年度第4回定例研究, 2022/11/18
【DL輪読会】How Much Can CLIP Benefit Vision-and-Language Tasks?
【DL輪読会】How Much Can CLIP Benefit Vision-and-Language Tasks?
Deep Learning JP
2022/7/1 Deep Learning JP http://deeplearning.jp/seminar-2/
【DL輪読会】時系列予測 Transfomers の精度向上手法
【DL輪読会】時系列予測 Transfomers の精度向上手法
Deep Learning JP
2023/1/13 Deep Learning JP http://deeplearning.jp/seminar-2/
Transformer メタサーベイ
Transformer メタサーベイ
cvpaper. challenge
cvpaper.challenge の メタサーベイ発表スライドです。 cvpaper.challengeはコンピュータビジョン分野の今を映し、トレンドを創り出す挑戦です。論文サマリ作成・アイディア考案・議論・実装・論文投稿に取り組み、凡ゆる知識を共有します。 http://xpaperchallenge.org/cv/
【DL輪読会】Efficiently Modeling Long Sequences with Structured State Spaces
【DL輪読会】Efficiently Modeling Long Sequences with Structured State Spaces
Deep Learning JP
2021/12/03 Deep Learning JP: http://deeplearning.jp/seminar-2/
ドメイン適応の原理と応用
ドメイン適応の原理と応用
Yoshitaka Ushiku
2020/6/11 画像センシングシンポジウム オーガナイズドセッション2 「限られたデータからの深層学習」 https://confit.atlas.jp/guide/event/ssii2020/static/organized#OS2 での招待講演資料です。 コンピュータビジョン分野を中心とした転移学習についての講演です。 パブリックなデータセットも増えていて、物体検出や領域分割などの研究も盛んですが、実際に社会実装しようとするときのデータは学習データと異なる性質(異なるドメイン)のデータである場合も非常に多いです。 本講演では、そのような場合に有効なドメイン適応の原理となるアプローチ2つと応用としての物体検出と領域分割の事例を紹介しています。
Recommended
Recurrent Neural Networks
Recurrent Neural Networks
Seiya Tokui
2014年10月30日のPFIセミナーで話したRecurrent Neural Networksの話です。LSTMの解説と4つの応用の紹介を含みます(機械翻訳、簡単なPythonコードの実行、Neural Turing Machines、Visual Attention)。
LSTM (Long short-term memory) 概要
LSTM (Long short-term memory) 概要
Kenji Urai
機械学習勉強会の資料です.LSTM (Long short-term memory) について理解するために,単純なニューラルネットから話を進めていきます.
動作認識の最前線:手法,タスク,データセット
動作認識の最前線:手法,タスク,データセット
Toru Tamaki
動作認識の最前線:手法,タスク,データセット 精密工学会 画像応用技術専門委員会, 2022年度第4回定例研究, 2022/11/18
【DL輪読会】How Much Can CLIP Benefit Vision-and-Language Tasks?
【DL輪読会】How Much Can CLIP Benefit Vision-and-Language Tasks?
Deep Learning JP
2022/7/1 Deep Learning JP http://deeplearning.jp/seminar-2/
【DL輪読会】時系列予測 Transfomers の精度向上手法
【DL輪読会】時系列予測 Transfomers の精度向上手法
Deep Learning JP
2023/1/13 Deep Learning JP http://deeplearning.jp/seminar-2/
Transformer メタサーベイ
Transformer メタサーベイ
cvpaper. challenge
cvpaper.challenge の メタサーベイ発表スライドです。 cvpaper.challengeはコンピュータビジョン分野の今を映し、トレンドを創り出す挑戦です。論文サマリ作成・アイディア考案・議論・実装・論文投稿に取り組み、凡ゆる知識を共有します。 http://xpaperchallenge.org/cv/
【DL輪読会】Efficiently Modeling Long Sequences with Structured State Spaces
【DL輪読会】Efficiently Modeling Long Sequences with Structured State Spaces
Deep Learning JP
2021/12/03 Deep Learning JP: http://deeplearning.jp/seminar-2/
ドメイン適応の原理と応用
ドメイン適応の原理と応用
Yoshitaka Ushiku
2020/6/11 画像センシングシンポジウム オーガナイズドセッション2 「限られたデータからの深層学習」 https://confit.atlas.jp/guide/event/ssii2020/static/organized#OS2 での招待講演資料です。 コンピュータビジョン分野を中心とした転移学習についての講演です。 パブリックなデータセットも増えていて、物体検出や領域分割などの研究も盛んですが、実際に社会実装しようとするときのデータは学習データと異なる性質(異なるドメイン)のデータである場合も非常に多いです。 本講演では、そのような場合に有効なドメイン適応の原理となるアプローチ2つと応用としての物体検出と領域分割の事例を紹介しています。
【DL輪読会】Flamingo: a Visual Language Model for Few-Shot Learning 画像×言語の大規模基盤モ...
【DL輪読会】Flamingo: a Visual Language Model for Few-Shot Learning 画像×言語の大規模基盤モ...
Deep Learning JP
2022/10/14 Deep Learning JP http://deeplearning.jp/seminar-2/
言語と知識の深層学習@認知科学会サマースクール
言語と知識の深層学習@認知科学会サマースクール
Yuya Unno
認知科学会のサマースクールでの講演資料です
生成モデルの Deep Learning
生成モデルの Deep Learning
Seiya Tokui
PFIセミナー(2016/02/25)で発表したスライドです。伝承サンプリング可能な生成モデルに関するDeep Learningの紹介です(キーワード:Wake-Sleep, 変分 AutoEncoder, Generative Adversarial Nets, Likelihood Ratio)
動画認識における代表的なモデル・データセット(メタサーベイ)
動画認識における代表的なモデル・データセット(メタサーベイ)
cvpaper. challenge
cvpaper.challenge の メタサーベイ発表スライドです。 cvpaper.challengeはコンピュータビジョン分野の今を映し、トレンドを創り出す挑戦です。論文サマリ作成・アイディア考案・議論・実装・論文投稿に取り組み、凡ゆる知識を共有します。 http://xpaperchallenge.org/cv/
[DL輪読会]GLIDE: Guided Language to Image Diffusion for Generation and Editing
[DL輪読会]GLIDE: Guided Language to Image Diffusion for Generation and Editing
Deep Learning JP
2022/01/07 Deep Learning JP: http://deeplearning.jp/seminar-2/
[DL輪読会]ドメイン転移と不変表現に関するサーベイ
[DL輪読会]ドメイン転移と不変表現に関するサーベイ
Deep Learning JP
2019/06/14 Deep Learning JP: http://deeplearning.jp/seminar-2/
最近のディープラーニングのトレンド紹介_20200925
最近のディープラーニングのトレンド紹介_20200925
小川 雄太郎
・自己教師あり学習 ・半教師あり学習 ・転移学習 ・メタ学習 ・模倣学習 ・逆強化学習 ・能動学習(Active Learning) について 「概要」、「代表的アルゴリズム名」、 「各内容を学ぶためのおすすめチュートリアル動画」を解説しています 2020年9月25日 理系ナビ DLエンジニアトレーニングプログラム
【メタサーベイ】Vision and Language のトップ研究室/研究者
【メタサーベイ】Vision and Language のトップ研究室/研究者
cvpaper. challenge
cvpaper.challenge の メタサーベイ発表スライドです。 cvpaper.challengeはコンピュータビジョン分野の今を映し、トレンドを創り出す挑戦です。論文サマリ作成・アイディア考案・議論・実装・論文投稿に取り組み、凡ゆる知識を共有します。 http://xpaperchallenge.org/cv/
Lucas kanade法について
Lucas kanade法について
Hitoshi Nishimura
Lucas kanade法について紹介
Bayesian Neural Networks : Survey
Bayesian Neural Networks : Survey
tmtm otm
授業のゼミで作りました。
[DL輪読会]画像を使ったSim2Realの現況
[DL輪読会]画像を使ったSim2Realの現況
Deep Learning JP
2020/10/30 Deep Learning JP: http://deeplearning.jp/seminar-2/
[DL輪読会]data2vec: A General Framework for Self-supervised Learning in Speech,...
[DL輪読会]data2vec: A General Framework for Self-supervised Learning in Speech,...
Deep Learning JP
2022/02/04 Deep Learning JP: http://deeplearning.jp/seminar-2/
[DL輪読会]Pay Attention to MLPs (gMLP)
[DL輪読会]Pay Attention to MLPs (gMLP)
Deep Learning JP
2021/05/28 Deep Learning JP: http://deeplearning.jp/seminar-2/
文献紹介:VideoCLIP: Contrastive Pre-training for Zero-shot Video-Text Understanding
文献紹介:VideoCLIP: Contrastive Pre-training for Zero-shot Video-Text Understanding
Toru Tamaki
Hu Xu, Gargi Ghosh, Po-Yao Huang, Dmytro Okhonko, Armen Aghajanyan, Florian Metze, Luke Zettlemoyer, Christoph Feichtenhofer, "VideoCLIP: Contrastive Pre-training for Zero-shot Video-Text Understanding" EMNLP2021 https://aclanthology.org/2021.emnlp-main.544/
SSII2020 [OS2-02] 教師あり事前学習を凌駕する「弱」教師あり事前学習
SSII2020 [OS2-02] 教師あり事前学習を凌駕する「弱」教師あり事前学習
SSII
SSII2020 [OS2-02] 教師あり事前学習を凌駕する「弱」教師あり事前学習 6月11日 (木) 11:00 - 12:30 メイン会場(vimeo + slido) 登壇者:片岡 裕雄 氏(産業技術総合研究所) 概要:高品質な教師ラベルを含む大規模画像データセットを学習に用いた場合は成功がほぼ確約されていると言っても差し支えないが、ラベル付けのコストは計り知れない。本発表では、SNS からの画像データ収集や弱教師によるラベル付けを含め、最小限の手間で大規模データセットを構築する方法を紹介する。800万超の人物ラベルを含む大規模データセットを人物検出のための事前学習に用いた場合、ベースラインである教師ありの事前学習手法を凌駕する検出率を実現した。
【メタサーベイ】Video Transformer
【メタサーベイ】Video Transformer
cvpaper. challenge
cvpaper.challenge の メタサーベイ発表スライドです。 cvpaper.challengeはコンピュータビジョン分野の今を映し、トレンドを創り出す挑戦です。論文サマリ作成・アイディア考案・議論・実装・論文投稿に取り組み、凡ゆる知識を共有します。 http://xpaperchallenge.org/cv/
[DL輪読会]ICLR2020の分布外検知速報
[DL輪読会]ICLR2020の分布外検知速報
Deep Learning JP
2019/09/27 Deep Learning JP: http://deeplearning.jp/seminar-2/
Layer Normalization@NIPS+読み会・関西
Layer Normalization@NIPS+読み会・関西
Keigo Nishida
Layer Normalization論文の紹介スライドです https://arxiv.org/abs/1607.06450 間違い等ありましたらご指摘いただけると嬉しいです
Deep Learning による視覚×言語融合の最前線
Deep Learning による視覚×言語融合の最前線
Yoshitaka Ushiku
2016/12/17 第7回 Machine Learning 15minutes!@メンバーズ 2017/03/12 ステアラボ人工知能シンポジウム2017@AP秋葉原 2017/03/22 電子情報通信学会総合大会 企画講演セッション「もっと知りたい! Deep Learning 〜基礎から活用ノウハウ,応用まで〜」@名城大学 2017/06/30 ABEJA Technopreneur College にて一部もしくは全スライドを使用。 画像キャプション生成については (https://www.slideshare.net/YoshitakaUshiku/ss-57148161) により詳細な説明を譲りますが、画像×言語の研究に関する日本語資料としての網羅的をより高めるように試みた資料です。
[DL輪読会]Focal Loss for Dense Object Detection
[DL輪読会]Focal Loss for Dense Object Detection
Deep Learning JP
Deep Learning JP: http://deeplearning.jp/seminar-2/
令和元年度 実践セミナー - Deep Learning 概論 -
令和元年度 実践セミナー - Deep Learning 概論 -
Yutaka KATAYAMA
実践セミナー
Tree-to-Sequence Attentional Neural Machine Translation (ACL 2016)
Tree-to-Sequence Attentional Neural Machine Translation (ACL 2016)
Toru Fujino
Tree-to-Sequence Attentional Neural Machine Translation (ACL 2016)
More Related Content
What's hot
【DL輪読会】Flamingo: a Visual Language Model for Few-Shot Learning 画像×言語の大規模基盤モ...
【DL輪読会】Flamingo: a Visual Language Model for Few-Shot Learning 画像×言語の大規模基盤モ...
Deep Learning JP
2022/10/14 Deep Learning JP http://deeplearning.jp/seminar-2/
言語と知識の深層学習@認知科学会サマースクール
言語と知識の深層学習@認知科学会サマースクール
Yuya Unno
認知科学会のサマースクールでの講演資料です
生成モデルの Deep Learning
生成モデルの Deep Learning
Seiya Tokui
PFIセミナー(2016/02/25)で発表したスライドです。伝承サンプリング可能な生成モデルに関するDeep Learningの紹介です(キーワード:Wake-Sleep, 変分 AutoEncoder, Generative Adversarial Nets, Likelihood Ratio)
動画認識における代表的なモデル・データセット(メタサーベイ)
動画認識における代表的なモデル・データセット(メタサーベイ)
cvpaper. challenge
cvpaper.challenge の メタサーベイ発表スライドです。 cvpaper.challengeはコンピュータビジョン分野の今を映し、トレンドを創り出す挑戦です。論文サマリ作成・アイディア考案・議論・実装・論文投稿に取り組み、凡ゆる知識を共有します。 http://xpaperchallenge.org/cv/
[DL輪読会]GLIDE: Guided Language to Image Diffusion for Generation and Editing
[DL輪読会]GLIDE: Guided Language to Image Diffusion for Generation and Editing
Deep Learning JP
2022/01/07 Deep Learning JP: http://deeplearning.jp/seminar-2/
[DL輪読会]ドメイン転移と不変表現に関するサーベイ
[DL輪読会]ドメイン転移と不変表現に関するサーベイ
Deep Learning JP
2019/06/14 Deep Learning JP: http://deeplearning.jp/seminar-2/
最近のディープラーニングのトレンド紹介_20200925
最近のディープラーニングのトレンド紹介_20200925
小川 雄太郎
・自己教師あり学習 ・半教師あり学習 ・転移学習 ・メタ学習 ・模倣学習 ・逆強化学習 ・能動学習(Active Learning) について 「概要」、「代表的アルゴリズム名」、 「各内容を学ぶためのおすすめチュートリアル動画」を解説しています 2020年9月25日 理系ナビ DLエンジニアトレーニングプログラム
【メタサーベイ】Vision and Language のトップ研究室/研究者
【メタサーベイ】Vision and Language のトップ研究室/研究者
cvpaper. challenge
cvpaper.challenge の メタサーベイ発表スライドです。 cvpaper.challengeはコンピュータビジョン分野の今を映し、トレンドを創り出す挑戦です。論文サマリ作成・アイディア考案・議論・実装・論文投稿に取り組み、凡ゆる知識を共有します。 http://xpaperchallenge.org/cv/
Lucas kanade法について
Lucas kanade法について
Hitoshi Nishimura
Lucas kanade法について紹介
Bayesian Neural Networks : Survey
Bayesian Neural Networks : Survey
tmtm otm
授業のゼミで作りました。
[DL輪読会]画像を使ったSim2Realの現況
[DL輪読会]画像を使ったSim2Realの現況
Deep Learning JP
2020/10/30 Deep Learning JP: http://deeplearning.jp/seminar-2/
[DL輪読会]data2vec: A General Framework for Self-supervised Learning in Speech,...
[DL輪読会]data2vec: A General Framework for Self-supervised Learning in Speech,...
Deep Learning JP
2022/02/04 Deep Learning JP: http://deeplearning.jp/seminar-2/
[DL輪読会]Pay Attention to MLPs (gMLP)
[DL輪読会]Pay Attention to MLPs (gMLP)
Deep Learning JP
2021/05/28 Deep Learning JP: http://deeplearning.jp/seminar-2/
文献紹介:VideoCLIP: Contrastive Pre-training for Zero-shot Video-Text Understanding
文献紹介:VideoCLIP: Contrastive Pre-training for Zero-shot Video-Text Understanding
Toru Tamaki
Hu Xu, Gargi Ghosh, Po-Yao Huang, Dmytro Okhonko, Armen Aghajanyan, Florian Metze, Luke Zettlemoyer, Christoph Feichtenhofer, "VideoCLIP: Contrastive Pre-training for Zero-shot Video-Text Understanding" EMNLP2021 https://aclanthology.org/2021.emnlp-main.544/
SSII2020 [OS2-02] 教師あり事前学習を凌駕する「弱」教師あり事前学習
SSII2020 [OS2-02] 教師あり事前学習を凌駕する「弱」教師あり事前学習
SSII
SSII2020 [OS2-02] 教師あり事前学習を凌駕する「弱」教師あり事前学習 6月11日 (木) 11:00 - 12:30 メイン会場(vimeo + slido) 登壇者:片岡 裕雄 氏(産業技術総合研究所) 概要:高品質な教師ラベルを含む大規模画像データセットを学習に用いた場合は成功がほぼ確約されていると言っても差し支えないが、ラベル付けのコストは計り知れない。本発表では、SNS からの画像データ収集や弱教師によるラベル付けを含め、最小限の手間で大規模データセットを構築する方法を紹介する。800万超の人物ラベルを含む大規模データセットを人物検出のための事前学習に用いた場合、ベースラインである教師ありの事前学習手法を凌駕する検出率を実現した。
【メタサーベイ】Video Transformer
【メタサーベイ】Video Transformer
cvpaper. challenge
cvpaper.challenge の メタサーベイ発表スライドです。 cvpaper.challengeはコンピュータビジョン分野の今を映し、トレンドを創り出す挑戦です。論文サマリ作成・アイディア考案・議論・実装・論文投稿に取り組み、凡ゆる知識を共有します。 http://xpaperchallenge.org/cv/
[DL輪読会]ICLR2020の分布外検知速報
[DL輪読会]ICLR2020の分布外検知速報
Deep Learning JP
2019/09/27 Deep Learning JP: http://deeplearning.jp/seminar-2/
Layer Normalization@NIPS+読み会・関西
Layer Normalization@NIPS+読み会・関西
Keigo Nishida
Layer Normalization論文の紹介スライドです https://arxiv.org/abs/1607.06450 間違い等ありましたらご指摘いただけると嬉しいです
Deep Learning による視覚×言語融合の最前線
Deep Learning による視覚×言語融合の最前線
Yoshitaka Ushiku
2016/12/17 第7回 Machine Learning 15minutes!@メンバーズ 2017/03/12 ステアラボ人工知能シンポジウム2017@AP秋葉原 2017/03/22 電子情報通信学会総合大会 企画講演セッション「もっと知りたい! Deep Learning 〜基礎から活用ノウハウ,応用まで〜」@名城大学 2017/06/30 ABEJA Technopreneur College にて一部もしくは全スライドを使用。 画像キャプション生成については (https://www.slideshare.net/YoshitakaUshiku/ss-57148161) により詳細な説明を譲りますが、画像×言語の研究に関する日本語資料としての網羅的をより高めるように試みた資料です。
[DL輪読会]Focal Loss for Dense Object Detection
[DL輪読会]Focal Loss for Dense Object Detection
Deep Learning JP
Deep Learning JP: http://deeplearning.jp/seminar-2/
What's hot
(20)
【DL輪読会】Flamingo: a Visual Language Model for Few-Shot Learning 画像×言語の大規模基盤モ...
【DL輪読会】Flamingo: a Visual Language Model for Few-Shot Learning 画像×言語の大規模基盤モ...
言語と知識の深層学習@認知科学会サマースクール
言語と知識の深層学習@認知科学会サマースクール
生成モデルの Deep Learning
生成モデルの Deep Learning
動画認識における代表的なモデル・データセット(メタサーベイ)
動画認識における代表的なモデル・データセット(メタサーベイ)
[DL輪読会]GLIDE: Guided Language to Image Diffusion for Generation and Editing
[DL輪読会]GLIDE: Guided Language to Image Diffusion for Generation and Editing
[DL輪読会]ドメイン転移と不変表現に関するサーベイ
[DL輪読会]ドメイン転移と不変表現に関するサーベイ
最近のディープラーニングのトレンド紹介_20200925
最近のディープラーニングのトレンド紹介_20200925
【メタサーベイ】Vision and Language のトップ研究室/研究者
【メタサーベイ】Vision and Language のトップ研究室/研究者
Lucas kanade法について
Lucas kanade法について
Bayesian Neural Networks : Survey
Bayesian Neural Networks : Survey
[DL輪読会]画像を使ったSim2Realの現況
[DL輪読会]画像を使ったSim2Realの現況
[DL輪読会]data2vec: A General Framework for Self-supervised Learning in Speech,...
[DL輪読会]data2vec: A General Framework for Self-supervised Learning in Speech,...
[DL輪読会]Pay Attention to MLPs (gMLP)
[DL輪読会]Pay Attention to MLPs (gMLP)
文献紹介:VideoCLIP: Contrastive Pre-training for Zero-shot Video-Text Understanding
文献紹介:VideoCLIP: Contrastive Pre-training for Zero-shot Video-Text Understanding
SSII2020 [OS2-02] 教師あり事前学習を凌駕する「弱」教師あり事前学習
SSII2020 [OS2-02] 教師あり事前学習を凌駕する「弱」教師あり事前学習
【メタサーベイ】Video Transformer
【メタサーベイ】Video Transformer
[DL輪読会]ICLR2020の分布外検知速報
[DL輪読会]ICLR2020の分布外検知速報
Layer Normalization@NIPS+読み会・関西
Layer Normalization@NIPS+読み会・関西
Deep Learning による視覚×言語融合の最前線
Deep Learning による視覚×言語融合の最前線
[DL輪読会]Focal Loss for Dense Object Detection
[DL輪読会]Focal Loss for Dense Object Detection
Similar to Learning to forget continual prediction with lstm
令和元年度 実践セミナー - Deep Learning 概論 -
令和元年度 実践セミナー - Deep Learning 概論 -
Yutaka KATAYAMA
実践セミナー
Tree-to-Sequence Attentional Neural Machine Translation (ACL 2016)
Tree-to-Sequence Attentional Neural Machine Translation (ACL 2016)
Toru Fujino
Tree-to-Sequence Attentional Neural Machine Translation (ACL 2016)
Learning Deep Architectures for AI (第 3 回 Deep Learning 勉強会資料; 松尾)
Learning Deep Architectures for AI (第 3 回 Deep Learning 勉強会資料; 松尾)
Ohsawa Goodfellow
2014/5/29 東大相澤山崎研勉強会:パターン認識とニューラルネットワーク,Deep Learningまで
2014/5/29 東大相澤山崎研勉強会:パターン認識とニューラルネットワーク,Deep Learningまで
Hokuto Kagaya
全体セミナー20180124 final
全体セミナー20180124 final
Jiro Nishitoba
2018年1月27日のレトリバセミナーで発表した資料です。ニューラルネットワークの二次最適化について話しています。
Ordered neurons integrating tree structures into recurrent neural networks
Ordered neurons integrating tree structures into recurrent neural networks
Kazuki Fujikawa
以下論文の紹介資料です。 Ordered Neurons: Integrating Tree Structures into Recurrent Neural Networks ICLR2019(Best paper) Yikang Shen, hawn Tan, Alessandro Sordoni, Aaron Courville
[DL輪読会]QUASI-RECURRENT NEURAL NETWORKS
[DL輪読会]QUASI-RECURRENT NEURAL NETWORKS
Deep Learning JP
2017/5/12 Deep Learning JP: http://deeplearning.jp/seminar-2/
企業等に蓄積されたデータを分析するための処理機能の提案
企業等に蓄積されたデータを分析するための処理機能の提案
Toshiyuki Shimono
found it project #8 (Yahoo Japan, LODGE) 2017-07-17
「ゼロから作るDeep learning」の畳み込みニューラルネットワークのハードウェア化
「ゼロから作るDeep learning」の畳み込みニューラルネットワークのハードウェア化
marsee101
「ゼロから作るDeep learning」の畳み込みニューラルネットワークを使用してFPGAで実装しました。
[ICLR2016] 採録論文の個人的まとめ
[ICLR2016] 採録論文の個人的まとめ
Yusuke Iwasawa
- ICLR2016 - accept papers - 2/8に発表された採録論文の中個人的に興味あるものを一言コメント付きでまとめました - アブストだけで内容判断してるので知識不足等から誤りがあった場合は適宜修正します
PFI Christmas seminar 2009
PFI Christmas seminar 2009
Preferred Networks
【CVPR 2019】Second-order Attention Network for Single Image Super-Resolution
【CVPR 2019】Second-order Attention Network for Single Image Super-Resolution
cvpaper. challenge
cvpaper.challenge はコンピュータビジョン分野の今を映し、トレンドを創り出す挑戦です。論文読破・まとめ・アイディア考案・議論・実装・論文投稿に取り組み、あらゆる知識を共有しています。 http://xpaperchallenge.org/cv/ 本資料は、CVPR 2019 網羅的サーベイの成果の一部で、1論文を精読してプレゼンテーション形式でまとめております。論文サマリは下記からご確認頂けます。 http://xpaperchallenge.org/cv/survey/cvpr2019_summaries/listall/
Image net classification with Deep Convolutional Neural Networks
Image net classification with Deep Convolutional Neural Networks
Shingo Horiuchi
黒船がやってきた!!
Pythonとdeep learningで手書き文字認識
Pythonとdeep learningで手書き文字認識
Ken Morishita
この続きでTheanoの使い方について簡単に書きました:http://qiita.com/items/3fbf6af714c1f66f99e9
SSII2022 [TS3] コンテンツ制作を支援する機械学習技術〜 イラストレーションやデザインの基礎から最新鋭の技術まで 〜
SSII2022 [TS3] コンテンツ制作を支援する機械学習技術〜 イラストレーションやデザインの基礎から最新鋭の技術まで 〜
SSII
6/10 (金) 09:30~10:40メイン会場 講師:シモセラ エドガー 氏(早稲田大学) 概要: インターネットが現代社会の柱の基本的な構成要素になりつつある現在、大規模なコンテンツ制作がこれまで以上に重要になってきています。しかし、イラストレーションやウェブデザインなどのコンテンツ制作には、高解像度、構造付きデータ、インタラクティブ性など、コンピュータービジョンと機械学習にとって一連のユニークな課題があります。本講演では、機械学習技術を利用して、コンテンツ制作の多様な課題を解決し、クリエイターの能力を向上させる方法について説明します。
Rainbow
Rainbow
Takahiro Yoshinaga
NN論文を肴に酒を飲む会#5
[DL輪読会]Training RNNs as Fast as CNNs
[DL輪読会]Training RNNs as Fast as CNNs
Deep Learning JP
2017/10/2 Deep Learning JP: http://deeplearning.jp/seminar-2/
JOI-summer-seminar
JOI-summer-seminar
chigichan24
JOI-summer-seminar 2014
Kaggle参加報告: Champs Predicting Molecular Properties
Kaggle参加報告: Champs Predicting Molecular Properties
Kazuki Fujikawa
Kaggleコンペティション「Predicting Molecular Properties」で13位になった時の解法の紹介と、上位ソリューションの紹介です。
(文献紹介)Deep Unrolling: Learned ISTA (LISTA)
(文献紹介)Deep Unrolling: Learned ISTA (LISTA)
Morpho, Inc.
今回は Deep Unrolling(あるいは Deep Unfolding、Algorithm Unrolling)と呼ばれる解釈可能性の高いディープラーニング手法を紹介します。
Similar to Learning to forget continual prediction with lstm
(20)
令和元年度 実践セミナー - Deep Learning 概論 -
令和元年度 実践セミナー - Deep Learning 概論 -
Tree-to-Sequence Attentional Neural Machine Translation (ACL 2016)
Tree-to-Sequence Attentional Neural Machine Translation (ACL 2016)
Learning Deep Architectures for AI (第 3 回 Deep Learning 勉強会資料; 松尾)
Learning Deep Architectures for AI (第 3 回 Deep Learning 勉強会資料; 松尾)
2014/5/29 東大相澤山崎研勉強会:パターン認識とニューラルネットワーク,Deep Learningまで
2014/5/29 東大相澤山崎研勉強会:パターン認識とニューラルネットワーク,Deep Learningまで
全体セミナー20180124 final
全体セミナー20180124 final
Ordered neurons integrating tree structures into recurrent neural networks
Ordered neurons integrating tree structures into recurrent neural networks
[DL輪読会]QUASI-RECURRENT NEURAL NETWORKS
[DL輪読会]QUASI-RECURRENT NEURAL NETWORKS
企業等に蓄積されたデータを分析するための処理機能の提案
企業等に蓄積されたデータを分析するための処理機能の提案
「ゼロから作るDeep learning」の畳み込みニューラルネットワークのハードウェア化
「ゼロから作るDeep learning」の畳み込みニューラルネットワークのハードウェア化
[ICLR2016] 採録論文の個人的まとめ
[ICLR2016] 採録論文の個人的まとめ
PFI Christmas seminar 2009
PFI Christmas seminar 2009
【CVPR 2019】Second-order Attention Network for Single Image Super-Resolution
【CVPR 2019】Second-order Attention Network for Single Image Super-Resolution
Image net classification with Deep Convolutional Neural Networks
Image net classification with Deep Convolutional Neural Networks
Pythonとdeep learningで手書き文字認識
Pythonとdeep learningで手書き文字認識
SSII2022 [TS3] コンテンツ制作を支援する機械学習技術〜 イラストレーションやデザインの基礎から最新鋭の技術まで 〜
SSII2022 [TS3] コンテンツ制作を支援する機械学習技術〜 イラストレーションやデザインの基礎から最新鋭の技術まで 〜
Rainbow
Rainbow
[DL輪読会]Training RNNs as Fast as CNNs
[DL輪読会]Training RNNs as Fast as CNNs
JOI-summer-seminar
JOI-summer-seminar
Kaggle参加報告: Champs Predicting Molecular Properties
Kaggle参加報告: Champs Predicting Molecular Properties
(文献紹介)Deep Unrolling: Learned ISTA (LISTA)
(文献紹介)Deep Unrolling: Learned ISTA (LISTA)
More from Fujimoto Keisuke
A quantum computational approach to correspondence problems on point sets
A quantum computational approach to correspondence problems on point sets
Fujimoto Keisuke
全日本CV勉強会 CVPR2020読み会
F0-Consistent Many-to-many Non-parallel Voice Conversion via Conditional Auto...
F0-Consistent Many-to-many Non-parallel Voice Conversion via Conditional Auto...
Fujimoto Keisuke
ICASSP2020読み会発表資料 F0-Consistent Many-to-many Non-parallel Voice Conversion via Conditional Autoencoder
YOLACT real-time instance segmentation
YOLACT real-time instance segmentation
Fujimoto Keisuke
CV勉強会@関東発表資料 YOLACT real-time instance segmentation, ICCV2019
Product Managerの役割、周辺ロールとの差異
Product Managerの役割、周辺ロールとの差異
Fujimoto Keisuke
PMたちのPM知識を高める勉強会発表資料 Product Manager、Project Manager、Program Manager、Product Market Manager、Technical Product Manager、Product Owner等の役割の違い
ChainerRLで株売買を結構頑張ってみた(後編)
ChainerRLで株売買を結構頑張ってみた(後編)
Fujimoto Keisuke
Chainer Meetup #10 発表資料@Preferred Networks https://chainer.connpass.com/event/134839/
Temporal Cycle Consistency Learning
Temporal Cycle Consistency Learning
Fujimoto Keisuke
CV勉強会@関東、CVPR2019読み会 Temporal Cycle Consistency Learning D. Dwibedi , Y. Aytar, J. Tompson, P. Sermanet, A. Zisserman
ML@Loft
ML@Loft
Fujimoto Keisuke
研究開始から運用までの機械学習モデル開発
20190414 Point Cloud Reconstruction Survey
20190414 Point Cloud Reconstruction Survey
Fujimoto Keisuke
2019年4月14日 CV勉強会@関東発表資料 Point Cloud Reconstructionに関するサーベイ資料
Chainer meetup 9
Chainer meetup 9
Fujimoto Keisuke
Chainer Meetup #09発表資料 株の売買を結構頑張ってみた(前編)
20180925 CV勉強会 SfM解説
20180925 CV勉強会 SfM解説
Fujimoto Keisuke
コンピュータビジョン 広がる要素技術と応用 読み会3.3の資料です
Sliced Wasserstein Distance for Learning Gaussian Mixture Models
Sliced Wasserstein Distance for Learning Gaussian Mixture Models
Fujimoto Keisuke
2018/07/07 CV勉強会@関東CVPR論文読み会(後編) Sliced Wasserstein Distance for Learning Gaussian Mixture Models
LiDAR-SLAM チュートリアル資料
LiDAR-SLAM チュートリアル資料
Fujimoto Keisuke
2018.05.27, 3D勉強会@関東 発表資料 LiDAR-SLAM チュートリアル
Stock trading using ChainerRL
Stock trading using ChainerRL
Fujimoto Keisuke
Chainer Meet UpのLT資料、株の売買に挑戦(シミュレーションですが)。
Cold-Start Reinforcement Learning with Softmax Policy Gradient
Cold-Start Reinforcement Learning with Softmax Policy Gradient
Fujimoto Keisuke
2018/02/04の関東CV勉強会「強化学習論文読み会」資料 Cold-Start Reinforcement Learning with Softmax Policy Gradient
Representation learning by learning to count
Representation learning by learning to count
Fujimoto Keisuke
Representation learning by learning to count
Dynamic Routing Between Capsules
Dynamic Routing Between Capsules
Fujimoto Keisuke
Dynamic Routing Between Capsules
Deep Learning Framework Comparison on CPU
Deep Learning Framework Comparison on CPU
Fujimoto Keisuke
色んなDeep Learning Frameworkを比較してみた。
ICCV2017一人読み会
ICCV2017一人読み会
Fujimoto Keisuke
オーラル発表の予習です
Global optimality in neural network training
Global optimality in neural network training
Fujimoto Keisuke
CVPR2017のオーラル発表論文 Global optimality in neural network training
CVPR2017 oral survey
CVPR2017 oral survey
Fujimoto Keisuke
CVPR2017のオーラル発表のサーベイです。 速読したので、間違っているところがあると思います。 随時更新予定。
More from Fujimoto Keisuke
(20)
A quantum computational approach to correspondence problems on point sets
A quantum computational approach to correspondence problems on point sets
F0-Consistent Many-to-many Non-parallel Voice Conversion via Conditional Auto...
F0-Consistent Many-to-many Non-parallel Voice Conversion via Conditional Auto...
YOLACT real-time instance segmentation
YOLACT real-time instance segmentation
Product Managerの役割、周辺ロールとの差異
Product Managerの役割、周辺ロールとの差異
ChainerRLで株売買を結構頑張ってみた(後編)
ChainerRLで株売買を結構頑張ってみた(後編)
Temporal Cycle Consistency Learning
Temporal Cycle Consistency Learning
ML@Loft
ML@Loft
20190414 Point Cloud Reconstruction Survey
20190414 Point Cloud Reconstruction Survey
Chainer meetup 9
Chainer meetup 9
20180925 CV勉強会 SfM解説
20180925 CV勉強会 SfM解説
Sliced Wasserstein Distance for Learning Gaussian Mixture Models
Sliced Wasserstein Distance for Learning Gaussian Mixture Models
LiDAR-SLAM チュートリアル資料
LiDAR-SLAM チュートリアル資料
Stock trading using ChainerRL
Stock trading using ChainerRL
Cold-Start Reinforcement Learning with Softmax Policy Gradient
Cold-Start Reinforcement Learning with Softmax Policy Gradient
Representation learning by learning to count
Representation learning by learning to count
Dynamic Routing Between Capsules
Dynamic Routing Between Capsules
Deep Learning Framework Comparison on CPU
Deep Learning Framework Comparison on CPU
ICCV2017一人読み会
ICCV2017一人読み会
Global optimality in neural network training
Global optimality in neural network training
CVPR2017 oral survey
CVPR2017 oral survey
Learning to forget continual prediction with lstm
1.
2015/05/30 CV勉強会@関東 有名論文読み会 発表資料 2015/05/30 peisuke
2.
ニューラルネットワークの最近の展開 • 最近の流れ • 層を深くして高精度な認識を実現 →人と同程度の画像認識精度を達成 •
課題 • 対象の状況や前後状態まで推測できない • 近年の流れ • 動画や音声、文章などの時系列データを対象としたより深い理解へ →リカレントニューラルネットワークの研究 • 最近の時系列データに関する研究事例 • 強化学習(Deep Q-Networkによるゲーム自動学習、ノウハウ習得) • 複合学習(画像と文章を学習させて画像のキャプション生成) • アルゴリズム学習(チューリングマシン学習、Neural Turing Machine) http://wallpaperswide.com/
3.
リカレントニューラルネットワーク • 概要 • ネットワーク内にループを持たせ、過去データを次回の 入力に利用 •
過去データと現在データを両方用いた状態変化に関す る学習を行える • 次の状態の予測など、状態遷移の認識が可能 時 系 列 デ ー タ 入 力 出力層と共に新たに追加した記憶用の 層にも出力 時刻tの隠れ層の内容が時刻t+1の入 力として扱われる Elman network
4.
本発表の概要 • 発表論文 • Learning
to Forget: Continual Prediction with LSTM • どんな論文? • リカレントニューラルネットワークで最も成功している手法 • 発表は古いが今でも主流の手法として利用されている • 何に使える? • 時系列データの認識 • 動画解析、ロボット制御、文章解析、音声認識など • 特徴は? • LSTMでは、リカレントニューラルネットワークが時系列データ を学習する際に最も大きな問題であった、近い過去のみし か記憶できなかった問題を解決 • 上記LSTMは過去のデータを全て覚えてしまい実用性低、本 論文ではLSTMに忘却機能を追加する方法を発表、実用可 能な構成となった 本発表ではLSTMおよび忘却機能付きLSTMについて紹介
5.
Learning to Forget:
Continual Prediction with LSTM Felix A. Gers Jürgen Schmidhuber Fred Cummins 発表:peisuke
6.
背景(1/2) • リカレントニューラルネット(RNN)について • ループ付きNNにより、過去データを次回の入力に利用 •
過去データを用いた状態変化に関する学習 • 次の状態の予測など、状態遷移の認識が可能 • 問題設定 • 入力データ・予測対象に可変長の系列を許す (通常のNNは、入力層の数が固定であり、 可変長データの扱いは難しい。全ての時間のデータを 一度に入力すると次元数が膨大となり扱い困難。) • 事例 • 音声認識:音声データから単語列を出力 • 機械翻訳:元言語の文章から翻訳先言語の文章生成 Elman network
7.
背景(2/2) • 従来のRNNの課題 • 学習の困難性、誤差の消失・発散 •
誤差消失のため10ステップ時間までが限界 • Back Propagation Through Time 展開 t0 t1 t2 展開後RNN (展開により多層NNと同様に扱える) BP 教師データ 多層NN同様に誤差が 消失・発散 RNN t0,t1,t2 学習データの流れ
8.
Long short-term memory
(S. Hochreiter, 1997) • 効果 • 学習によって誤差が発散・消失しない • 従来10ステップに対し、1000ステップ 以上の過去を記憶 • 計算コストも時間当たりO(1) • 課題 • データを忘れないため、状況が変化に 対応不可能 • オリジナルLSTMでは状況に合わせ手 動で記憶をリセットしているが、実用上 は手動リセットは難しい • 概要 • データをループさせる際に、重みを1とし維持し続ける • 誤ったデータを記憶し続けないように、入力・出力部にゲートを設 置し、正しいデータのみ通過させる
9.
Long short-term memory
with Forget Gate • 概要 • 記憶セルを、忘却ゲートの値に 応じてリセットできるようにする • 効果 • 状況変化を自動で判別し記憶を リセットできるようになるため、区 切りがないデータでも扱える • 実用上において非常に有効
10.
LSTMの構成について • 通常のNN Σ sigmoid y1 y2 y3 𝑦𝑐 𝑡 =
𝑔( 𝑤𝑐 𝑦 𝑡−1)
11.
LSTMの構成について • 過去情報を減衰させずに再利用 Σy1 y2 y3 1.0 係数を1.0にすることで過去 のデータを記憶し続ける。 Constant Error
Carousel (CEC) 全てのデータを記憶し続けるため、 外れ値やノイズも溜め込んでしまう 𝑦𝑐 𝑡 𝑠 𝑡 = 𝑦𝑐 𝑡 + 𝑠 𝑡−1 𝑠 𝑡 𝑦 𝑡 𝑦 𝑡 = ℎ(𝑠 𝑡 )
12.
LSTMの構成について • データの選択的取り込み sigmoid Σ y1 y2
y3 yin ゲートが開いているときに 入力データを記憶 𝑠 𝑡 = 𝑦𝑖𝑛 𝑦𝑐 𝑡 + 𝑠 𝑡−1
13.
LSTMの構成について • データの選択的に出力 sigmoid sigmoid Σ y1 y2
y3 𝑦 𝑡 = ℎ 𝑦 𝑜𝑢𝑡 𝑠 𝑡 𝑠 𝑡 𝑦𝑖𝑛
14.
LSTMの構成について • 忘却ゲートの追加 sigmoid Σ y1
y2 y3 yf 𝑠 𝑡 = 𝑦𝑖𝑛 𝑦𝑐 𝑡 + 𝑦𝑓 𝑠 𝑡−1
15.
Long short- term
memory with Forget gate • 計算式まとめ 𝑦𝑖𝑛 𝑡 = 𝑓 𝑤𝑖𝑛 𝑦 𝑡−1 𝑦𝑐 𝑡 = 𝑔 𝑤𝑐 𝑦 𝑡−1 𝑦𝑓 𝑡 = 𝑓 𝑤𝑓 𝑦 𝑡−1 , 𝑠 𝑡 = 𝑦𝑖𝑛 𝑡 𝑦𝑐 𝑡 + 𝑦𝑓 𝑠 𝑡−1 𝑦 𝑜𝑢𝑡 𝑡 = 𝑓 𝑤 𝑜𝑢𝑡 𝑦 𝑡−1 , 𝑦 𝑡 = ℎ 𝑦 𝑜𝑢𝑡 𝑡 𝑠 𝑡 (𝑤𝑐, 𝑤𝑖𝑛 , 𝑤 𝑜𝑢𝑡, 𝑤𝑓)をBP、RTRLで学習
16.
入出力ゲートがどのように影響するか • 入力ゲート • 記憶したくないデータを入力ゲートで除去 •
不要なデータかどうかは𝑤𝑖𝑛の学習によって判別可能 • データと𝑤𝑖𝑛の内積で入力可否を判別するため • 出力ゲート • 出力したくないデータを出力ゲートで除去 • 入力ゲート同様、不要なデータかどうかを𝑤 𝑜𝑢𝑡の学習 により判別 • LSTMの論文によると無くても動作可能とのことだが、 有ったほうが高性能
17.
実験 • Reber Grammar
Problem (RG問題) • 最もシンプルなベンチマーク方法の一つ • 文字列を入力した際に、次の文字を予測 • 例:BTSSXと入力すると、出力は(X, S) • 従来のRNNでも学習可能 • 最新の入力がPの場合、次候補は(V, T)か(S, X)の2種 • Pの前がBであった場合は(V, T)、Pの前がVであった場合は (X, S)と確定できる • 数個分の履歴を記憶すれば予測実行可能
18.
実験 • Embedded Reber
Grammar Problem (ERG問題) • 遠い過去のデータを記憶する必要のある少し難しいベ ンチマーク方法 • 図のようにRGPを二つ組み込んだルールを用いて予測 • 例:BTBTSSXと入力すると、出力は(X, S) • 従来のRNNでは学習不可 • E(赤丸)という入力があった 場合、次候補はTかPの2種 • Eの次がTである場合、系列 ①に進んだこととなる • 系列を判別するには、2つ めの入力データT, P(青丸) を記憶する必要がある • 長時間の記憶が必要 ① ②
19.
実験 • Continual Embedded
Reber Grammar Problem (CERG問題) • ERGを区切り文字なしで連続で並べた問題 • 過去数ステップ分の記憶は必要であるが、前回ループ 分までの記憶は不要 • 一回のループ長は不定、必 要な記憶長は定義できない • 昔の記憶を保持するだけで はなく、必要なタイミングで 記憶を破棄
20.
ERG問題におけるLSTMと従来手法の比較 • ERG問題に対する必要記憶ステップ数の解析 • 平均の文長:11.54文字 •
80000回試行した際の最長の文字数:50文字 →50ステップ以上の記憶保持
21.
ERG問題におけるLSTMと従来手法の比較 • 比較対処(LSTM論文の結果の再掲) • RTRL
(Smith and Zipser, 1989) • Eleman net (Cleeremans et al., 1989) • Reccurent Cascade Correlation (Fahlman, 1991) • 比較結果 • LSTMのみ正しく学習 • 学習回数もLSTMが最も少ない →LSTMでは唯一50文字の文字列の記憶が可能
22.
CERG問題における忘却付きLSTMの評価 • ネットワーク構成 • 4メモリブロック、ブロックあたり2メモリセル •
入出力層は7ノード
23.
CERG問題における忘却付きLSTMの評価 • 実験結果 • 学習は30000回 •
テストは10000回連続成功した場合に成功とし10回行う • 従来型LSTMではほぼ失敗(2,3行目) • 忘却付きLSTMでは成功率向上 Solutions:全てのテストに成功 Good Results: 平均文長が1000以上
24.
CERG問題における忘却付きLSTMの評価 • 解析 • 忘却機能付きLSTMでは文が切り替わる度に ForgetGateが変化し、セルの状態が初期化されている
25.
論文のまとめ • 背景 • 時系列データの認識(文章・動画・音声などの学習) •
従来のリカレントニューラルネットワークは、(a)高々10ステッ プ分しか記憶できない、(b)学習の困難性あり • 目的 • 効率よく学習可能で、古い記憶を保持できること • 手法 • ループ時にデータを維持すると共に、入出力ゲートを用いる ことで、有効なデータのみ記憶 • 忘却ゲートを利用することで必要に応じ状態をリセット • 結果 • CERG問題について6割の成功率達成 • 安定かつ高効率な学習
26.
LSTMの応用事例について • Long-term Recurrent
Convolutional Networks for Visual Recognition and Description • 抽出した動画上の特徴量を用いLSTMで説明文を出力
27.
LSTMの応用事例について • Unsupervised Learning
of Video Representations using LSTMs • AutoEncoderのLSTM版、入力データをAutoEndoerで 自己符号化することで教師無し学習
28.
発表まとめ • 近年のディープラーニングにおいて、主な研究対 象となっていた静止画のみでは、その状況までは 認識困難 • ニューラルネットワークの研究の流れは、近年で は時系列データを学習可能なリカレントニューラル ネットワークに向かっている •
本発表では、リカレントニューラルネットワークの構 成手法の一つである、過去のデータを保持可能な LSTMを紹介した
Download now