Submit Search
Upload
[FUNAI輪講] BERT
•
Download as PPT, PDF
•
0 likes
•
57 views
T
Takanori Ebihara
Follow
funaiでの輪講資料
Read less
Read more
Technology
Report
Share
Report
Share
1 of 14
Download now
Recommended
CamomileでUnicode
CamomileでUnicode
Yamagata Yoriyuki
BERT を中心に解説した資料です.BERT に比べると,XLNet と RoBERTa の内容は詳細に追ってないです. あと,自作の図は上から下ですが,引っ張ってきた図は下から上になっているので注意してください. もし間違い等あったら修正するので,言ってください. (特に,RoBERTa の英語を読み間違えがちょっと怖いです.言い訳すいません.) BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding XLNet: Generalized Autoregressive Pretraining for Language Understanding RoBERTa: A Robustly Optimized BERT Pretraining Approach
BERT+XLNet+RoBERTa
BERT+XLNet+RoBERTa
禎晃 山崎
111015 tokyo scipy2_ディスカッション
111015 tokyo scipy2_ディスカッション
Shohei Hido
1/16のPFIセミナー「Deep Learningと音声認識」の資料です。
音声認識と深層学習
音声認識と深層学習
Preferred Networks
2017/04/06 Intel AI Dayの講演資料
深層学習フレームワークChainerとその進化
深層学習フレームワークChainerとその進化
Yuya Unno
110828 tokyo scipy1_hido_dist
110828 tokyo scipy1_hido_dist
Shohei Hido
Slides for SIGNATE Student Cup 2020 (https://signate.jp/competitions/281) 2nd (?) solution. For more details in GitHub: https://github.com/OctopCat/StudentCup2020
Student Cup 2020 2nd(?) solution LT
Student Cup 2020 2nd(?) solution LT
HogeBona
Chainer meetup #1で話した内容です
Chainer入門と最近の機能
Chainer入門と最近の機能
Yuya Unno
Recommended
CamomileでUnicode
CamomileでUnicode
Yamagata Yoriyuki
BERT を中心に解説した資料です.BERT に比べると,XLNet と RoBERTa の内容は詳細に追ってないです. あと,自作の図は上から下ですが,引っ張ってきた図は下から上になっているので注意してください. もし間違い等あったら修正するので,言ってください. (特に,RoBERTa の英語を読み間違えがちょっと怖いです.言い訳すいません.) BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding XLNet: Generalized Autoregressive Pretraining for Language Understanding RoBERTa: A Robustly Optimized BERT Pretraining Approach
BERT+XLNet+RoBERTa
BERT+XLNet+RoBERTa
禎晃 山崎
111015 tokyo scipy2_ディスカッション
111015 tokyo scipy2_ディスカッション
Shohei Hido
1/16のPFIセミナー「Deep Learningと音声認識」の資料です。
音声認識と深層学習
音声認識と深層学習
Preferred Networks
2017/04/06 Intel AI Dayの講演資料
深層学習フレームワークChainerとその進化
深層学習フレームワークChainerとその進化
Yuya Unno
110828 tokyo scipy1_hido_dist
110828 tokyo scipy1_hido_dist
Shohei Hido
Slides for SIGNATE Student Cup 2020 (https://signate.jp/competitions/281) 2nd (?) solution. For more details in GitHub: https://github.com/OctopCat/StudentCup2020
Student Cup 2020 2nd(?) solution LT
Student Cup 2020 2nd(?) solution LT
HogeBona
Chainer meetup #1で話した内容です
Chainer入門と最近の機能
Chainer入門と最近の機能
Yuya Unno
Classとは設計図である。 インスタンス、プロパティ、メッソドなどの概念の説明
Python : Class
Python : Class
Seong-Hun Choe
くせものFor文の解説
Python : for文の解説
Python : for文の解説
Seong-Hun Choe
company reading EMNLP2020
Knowledge_graph_alignment_with_entity-pair_embedding
Knowledge_graph_alignment_with_entity-pair_embedding
Ace12358
DeepSpeech2
Icml読み会 deep speech2
Icml読み会 deep speech2
Jiro Nishitoba
Rでisomap(多様体学習のはなし)
Rでisomap(多様体学習のはなし)
Kohta Ishikawa
GPUがなぜ速いのか,またその上でどのようなデータ構造やアルゴリズム,ライブラリが使えるのかを説明します。特にMapReduceなどの非均質で,離散的なアルゴリズムがいかに高速に実現されるかを紹介します。 実験に使ったコード https://github.com/hillbig/gpuexperiments セミナーの動画 https://www.youtube.com/watch?v=WmETPBK3MOI
More modern gpu
More modern gpu
Preferred Networks
GPU向けにNLPの深層学習を実行する場合の工夫について
GPU上でのNLP向け深層学習の実装について
GPU上でのNLP向け深層学習の実装について
Yuya Unno
IBIS 2021 https://ibisml.org/ibis2021/ における最適輸送についてのチュートリアルスライドです。 『最適輸送の理論とアルゴリズム』好評発売中! https://www.amazon.co.jp/dp/4065305144 Speakerdeck にもアップロードしました: https://speakerdeck.com/joisino/zui-shi-shu-song-ru-men
最適輸送入門
最適輸送入門
joisino
TIS株式会社のハンズオンで使用した講義資料です。
Encoder-decoder 翻訳 (TISハンズオン資料)
Encoder-decoder 翻訳 (TISハンズオン資料)
Yusuke Oda
Exgettextの話
Exgettextの話
k1complete
Unsupervised Part-of-Speech Tagging with Bilingual Graph-Based Projections
Acl yomikai, 1016, 20110903
Acl yomikai, 1016, 20110903
Yo Ehara
研究室の輪講の論文紹介で用いた発表スライドです。 論文紹介:「End-to-end Sequence Labeling via Bi-directional LSTM-CNNs-CRF」
論文紹介:「End-to-end Sequence Labeling via Bi-directional LSTM-CNNs-CRF」
論文紹介:「End-to-end Sequence Labeling via Bi-directional LSTM-CNNs-CRF」
Naonori Nagano
RNN, LSTM, CTC について
再帰型ニューラルネット in 機械学習プロフェッショナルシリーズ輪読会
再帰型ニューラルネット in 機械学習プロフェッショナルシリーズ輪読会
Shotaro Sano
NLP東京Dの会で発表した確率的文脈自由文法 (Probabilistic Context-free Grammar: PCFG) 関係のスライドです。
PCFG構文解析法
PCFG構文解析法
Yusuke Oda
Notes/Dominoの@関数を取り上げながら、調べたこと、経験したことを雑談してゆきます。 第15回は@DbColumと@DbLookup についての1回目
201908 のの会@関数Talk 15th
201908 のの会@関数Talk 15th
Satoru Abe
Chainer MeetUp Talkで行ったライトニングトークです。
A Chainer MeetUp Talk
A Chainer MeetUp Talk
Yusuke Oda
2014年8月26日の日本神経回路学会主催セミナー「Deep Learningが拓く世界」における発表スライドです。Deep Learningの主なフレームワークで共通する設計部分と、実験の仕方について説明しています。
Deep learning実装の基礎と実践
Deep learning実装の基礎と実践
Seiya Tokui
日本音響学会2017秋 ビギナーズセミナー
日本音響学会2017秋 ビギナーズセミナー "深層学習を深く学習するための基礎"
日本音響学会2017秋 ビギナーズセミナー "深層学習を深く学習するための基礎"
Shinnosuke Takamichi
PBP
日本語テキスト音声合成のための句境界予測モデルの検討
日本語テキスト音声合成のための句境界予測モデルの検討
Kosuke Futamata
期せずしてNAACL2015のBest Paper Plenary Sessionでの論文を研究室で発表したのでアップ。学習済みの単語ベクトルに外部知識を取り込む話。
Retrofitting Word Vectors to Semantic Lexicons
Retrofitting Word Vectors to Semantic Lexicons
Sho Takase
.NET micro FrameWork for TOPPERS (.NET基礎)@基礎勉強会
.NET micro FrameWork for TOPPERS (.NET基礎)@基礎勉強会
Kiyoshi Ogawa
Groovy Bootcamp Handson slide
Groovy Bootcamp 2015 by JGGUG
Groovy Bootcamp 2015 by JGGUG
Uehara Junji
More Related Content
What's hot
Classとは設計図である。 インスタンス、プロパティ、メッソドなどの概念の説明
Python : Class
Python : Class
Seong-Hun Choe
くせものFor文の解説
Python : for文の解説
Python : for文の解説
Seong-Hun Choe
company reading EMNLP2020
Knowledge_graph_alignment_with_entity-pair_embedding
Knowledge_graph_alignment_with_entity-pair_embedding
Ace12358
DeepSpeech2
Icml読み会 deep speech2
Icml読み会 deep speech2
Jiro Nishitoba
Rでisomap(多様体学習のはなし)
Rでisomap(多様体学習のはなし)
Kohta Ishikawa
GPUがなぜ速いのか,またその上でどのようなデータ構造やアルゴリズム,ライブラリが使えるのかを説明します。特にMapReduceなどの非均質で,離散的なアルゴリズムがいかに高速に実現されるかを紹介します。 実験に使ったコード https://github.com/hillbig/gpuexperiments セミナーの動画 https://www.youtube.com/watch?v=WmETPBK3MOI
More modern gpu
More modern gpu
Preferred Networks
GPU向けにNLPの深層学習を実行する場合の工夫について
GPU上でのNLP向け深層学習の実装について
GPU上でのNLP向け深層学習の実装について
Yuya Unno
IBIS 2021 https://ibisml.org/ibis2021/ における最適輸送についてのチュートリアルスライドです。 『最適輸送の理論とアルゴリズム』好評発売中! https://www.amazon.co.jp/dp/4065305144 Speakerdeck にもアップロードしました: https://speakerdeck.com/joisino/zui-shi-shu-song-ru-men
最適輸送入門
最適輸送入門
joisino
TIS株式会社のハンズオンで使用した講義資料です。
Encoder-decoder 翻訳 (TISハンズオン資料)
Encoder-decoder 翻訳 (TISハンズオン資料)
Yusuke Oda
Exgettextの話
Exgettextの話
k1complete
Unsupervised Part-of-Speech Tagging with Bilingual Graph-Based Projections
Acl yomikai, 1016, 20110903
Acl yomikai, 1016, 20110903
Yo Ehara
研究室の輪講の論文紹介で用いた発表スライドです。 論文紹介:「End-to-end Sequence Labeling via Bi-directional LSTM-CNNs-CRF」
論文紹介:「End-to-end Sequence Labeling via Bi-directional LSTM-CNNs-CRF」
論文紹介:「End-to-end Sequence Labeling via Bi-directional LSTM-CNNs-CRF」
Naonori Nagano
RNN, LSTM, CTC について
再帰型ニューラルネット in 機械学習プロフェッショナルシリーズ輪読会
再帰型ニューラルネット in 機械学習プロフェッショナルシリーズ輪読会
Shotaro Sano
NLP東京Dの会で発表した確率的文脈自由文法 (Probabilistic Context-free Grammar: PCFG) 関係のスライドです。
PCFG構文解析法
PCFG構文解析法
Yusuke Oda
Notes/Dominoの@関数を取り上げながら、調べたこと、経験したことを雑談してゆきます。 第15回は@DbColumと@DbLookup についての1回目
201908 のの会@関数Talk 15th
201908 のの会@関数Talk 15th
Satoru Abe
Chainer MeetUp Talkで行ったライトニングトークです。
A Chainer MeetUp Talk
A Chainer MeetUp Talk
Yusuke Oda
2014年8月26日の日本神経回路学会主催セミナー「Deep Learningが拓く世界」における発表スライドです。Deep Learningの主なフレームワークで共通する設計部分と、実験の仕方について説明しています。
Deep learning実装の基礎と実践
Deep learning実装の基礎と実践
Seiya Tokui
日本音響学会2017秋 ビギナーズセミナー
日本音響学会2017秋 ビギナーズセミナー "深層学習を深く学習するための基礎"
日本音響学会2017秋 ビギナーズセミナー "深層学習を深く学習するための基礎"
Shinnosuke Takamichi
PBP
日本語テキスト音声合成のための句境界予測モデルの検討
日本語テキスト音声合成のための句境界予測モデルの検討
Kosuke Futamata
期せずしてNAACL2015のBest Paper Plenary Sessionでの論文を研究室で発表したのでアップ。学習済みの単語ベクトルに外部知識を取り込む話。
Retrofitting Word Vectors to Semantic Lexicons
Retrofitting Word Vectors to Semantic Lexicons
Sho Takase
What's hot
(20)
Python : Class
Python : Class
Python : for文の解説
Python : for文の解説
Knowledge_graph_alignment_with_entity-pair_embedding
Knowledge_graph_alignment_with_entity-pair_embedding
Icml読み会 deep speech2
Icml読み会 deep speech2
Rでisomap(多様体学習のはなし)
Rでisomap(多様体学習のはなし)
More modern gpu
More modern gpu
GPU上でのNLP向け深層学習の実装について
GPU上でのNLP向け深層学習の実装について
最適輸送入門
最適輸送入門
Encoder-decoder 翻訳 (TISハンズオン資料)
Encoder-decoder 翻訳 (TISハンズオン資料)
Exgettextの話
Exgettextの話
Acl yomikai, 1016, 20110903
Acl yomikai, 1016, 20110903
論文紹介:「End-to-end Sequence Labeling via Bi-directional LSTM-CNNs-CRF」
論文紹介:「End-to-end Sequence Labeling via Bi-directional LSTM-CNNs-CRF」
再帰型ニューラルネット in 機械学習プロフェッショナルシリーズ輪読会
再帰型ニューラルネット in 機械学習プロフェッショナルシリーズ輪読会
PCFG構文解析法
PCFG構文解析法
201908 のの会@関数Talk 15th
201908 のの会@関数Talk 15th
A Chainer MeetUp Talk
A Chainer MeetUp Talk
Deep learning実装の基礎と実践
Deep learning実装の基礎と実践
日本音響学会2017秋 ビギナーズセミナー "深層学習を深く学習するための基礎"
日本音響学会2017秋 ビギナーズセミナー "深層学習を深く学習するための基礎"
日本語テキスト音声合成のための句境界予測モデルの検討
日本語テキスト音声合成のための句境界予測モデルの検討
Retrofitting Word Vectors to Semantic Lexicons
Retrofitting Word Vectors to Semantic Lexicons
Similar to [FUNAI輪講] BERT
.NET micro FrameWork for TOPPERS (.NET基礎)@基礎勉強会
.NET micro FrameWork for TOPPERS (.NET基礎)@基礎勉強会
Kiyoshi Ogawa
Groovy Bootcamp Handson slide
Groovy Bootcamp 2015 by JGGUG
Groovy Bootcamp 2015 by JGGUG
Uehara Junji
Stable Diffusion (SD)の最初のバージョンが発表されてから1年弱が経つ今も、SDを用いたアプリケーションや論文は多くあります。特に、高性能で汎用的なSDを、さらに自分が望む画像にチューニングする「追加学習」手法は、幅広いカスタマイズが可能になりました。本講演では、SDにおける追加学習について、最新の手法を交えてご紹介します。
makoto shing (stability ai) - image model fine-tuning - wandb_event_230525.pdf
makoto shing (stability ai) - image model fine-tuning - wandb_event_230525.pdf
Akira Shibata
第一回NAT生成論文読み会紹介スライド
2020 03 05_mar_revenshtein_transformer_tmu_homma
2020 03 05_mar_revenshtein_transformer_tmu_homma
広樹 本間
本スライドは、弊社の梅本により弊社内の技術勉強会で使用されたものです。 近年注目を集めるアーキテクチャーである「Transformer」の解説スライドとなっております。 "Arithmer Seminar" is weekly held, where professionals from within and outside our company give lectures on their respective expertise. The slides are made by the lecturer from outside our company, and shared here with his/her permission. Arithmer株式会社は東京大学大学院数理科学研究科発の数学の会社です。私達は現代数学を応用して、様々な分野のソリューションに、新しい高度AIシステムを導入しています。AIをいかに上手に使って仕事を効率化するか、そして人々の役に立つ結果を生み出すのか、それを考えるのが私たちの仕事です。 Arithmer began at the University of Tokyo Graduate School of Mathematical Sciences. Today, our research of modern mathematics and AI systems has the capability of providing solutions when dealing with tough complex issues. At Arithmer we believe it is our job to realize the functions of AI through improving work efficiency and producing more useful results for society.
全力解説!Transformer
全力解説!Transformer
Arithmer Inc.
It's the slide for a gathering to study reading English.
no12.pptx
no12.pptx
Penguin49
テキスト型Domain Specific Language (DSL) 開発フレームワークXtext の紹介
テキスト型Domain Specific Language (DSL) 開発フレームワークXtext の紹介
Shintaro Hosoai
2016/12/1 bitFlyer TechNight C# Meetup での発表。 C# における文字列 (string) の高速な取り回しなどについて。 https://bitflyer.connpass.com/event/45476/
Hello Dark-Side C# (Part. 1)
Hello Dark-Side C# (Part. 1)
Yuto Takei
自然言語分野で2020年内に発表された手法の紹介。
ElectraとpQRNNについて
ElectraとpQRNNについて
Itsuki Slide
2021/3/12に行われた第79回人工知能セミナーにおけるNeurIPS2020参加報告
NeurIPS2020参加報告
NeurIPS2020参加報告
Sho Takase
2012/12/7 Eclipse Modeling勉強会の発表資料です. 発表時のものに加えて,モデリングプロジェクト下の概ね全てのプロジェクトのリストを付加しました. 一言コメントは,一応プロジェクトのDescriptionから読み取ったものですが,多々間違いもあるかもしれません.利用時は原典を参照ください(http://www.eclipse.org/projects/listofprojects.php)
Eclipse modeling projectの概要
Eclipse modeling projectの概要
Shintaro Hosoai
OSS-DB Gold 合格体験記 (第29回PostgreSQLアンカンファレンス@オンライン 発表資料) 2021年12月21日(火) NTTデータ 技術開発本部 加藤 健
OSS-DB Gold 合格体験記(第29回PostgreSQLアンカンファレンス@オンライン 発表資料)
OSS-DB Gold 合格体験記(第29回PostgreSQLアンカンファレンス@オンライン 発表資料)
NTT DATA Technology & Innovation
Jubatusの特徴変換と線形分類器の仕組み
Jubatusの特徴変換と線形分類器の仕組み
JubatusOfficial
2019/04/08 Deep Learning JP: http://deeplearning.jp/hacks/
[DL Hacks]Pretraining-Based Natural Language Generation for Text Summarizatio...
[DL Hacks]Pretraining-Based Natural Language Generation for Text Summarizatio...
Deep Learning JP
RTミドルウエア講習会・名城大(2016/07/05)講義資料
160705-03 RTミドルウエア講習会・名城大
160705-03 RTミドルウエア講習会・名城大
openrtm
FY2019上期に某所で開催した勉強会の資料です.
BERTology のススメ
BERTology のススメ
University of Tsukuba
なにわテック祭りの発表資料
なにわテック20180127
なにわテック20180127
Natsutani Minoru
■Java Küeche 勉強会 「RDB最前線」 in 沖縄 講演資料 『PostgreSQL 9.5 新機能紹介』 NTT DATA 澤田 雅彦 @sawada_masahiko
PostgreSQL 9.5 新機能紹介
PostgreSQL 9.5 新機能紹介
NTT DATA OSS Professional Services
単語埋込みモデルによる意味論, word2vec, skip-gram, CBOW, SGNS, tensorflow, math, ja
TensorFlow math ja 05 word2vec
TensorFlow math ja 05 word2vec
Shin Asakawa
pg_bigmを用いた全文検索のしくみ(前編)
pg_bigmを用いた全文検索のしくみ(前編)
pg_bigmを用いた全文検索のしくみ(前編)
NTT DATA OSS Professional Services
Similar to [FUNAI輪講] BERT
(20)
.NET micro FrameWork for TOPPERS (.NET基礎)@基礎勉強会
.NET micro FrameWork for TOPPERS (.NET基礎)@基礎勉強会
Groovy Bootcamp 2015 by JGGUG
Groovy Bootcamp 2015 by JGGUG
makoto shing (stability ai) - image model fine-tuning - wandb_event_230525.pdf
makoto shing (stability ai) - image model fine-tuning - wandb_event_230525.pdf
2020 03 05_mar_revenshtein_transformer_tmu_homma
2020 03 05_mar_revenshtein_transformer_tmu_homma
全力解説!Transformer
全力解説!Transformer
no12.pptx
no12.pptx
テキスト型Domain Specific Language (DSL) 開発フレームワークXtext の紹介
テキスト型Domain Specific Language (DSL) 開発フレームワークXtext の紹介
Hello Dark-Side C# (Part. 1)
Hello Dark-Side C# (Part. 1)
ElectraとpQRNNについて
ElectraとpQRNNについて
NeurIPS2020参加報告
NeurIPS2020参加報告
Eclipse modeling projectの概要
Eclipse modeling projectの概要
OSS-DB Gold 合格体験記(第29回PostgreSQLアンカンファレンス@オンライン 発表資料)
OSS-DB Gold 合格体験記(第29回PostgreSQLアンカンファレンス@オンライン 発表資料)
Jubatusの特徴変換と線形分類器の仕組み
Jubatusの特徴変換と線形分類器の仕組み
[DL Hacks]Pretraining-Based Natural Language Generation for Text Summarizatio...
[DL Hacks]Pretraining-Based Natural Language Generation for Text Summarizatio...
160705-03 RTミドルウエア講習会・名城大
160705-03 RTミドルウエア講習会・名城大
BERTology のススメ
BERTology のススメ
なにわテック20180127
なにわテック20180127
PostgreSQL 9.5 新機能紹介
PostgreSQL 9.5 新機能紹介
TensorFlow math ja 05 word2vec
TensorFlow math ja 05 word2vec
pg_bigmを用いた全文検索のしくみ(前編)
pg_bigmを用いた全文検索のしくみ(前編)
[FUNAI輪講] BERT
1.
[ 論文紹介 ]
BERT 学部3年 海老原
2.
Contents intro model task and learning experiments まとめ
3.
論文概要 正式名称 :
Pre-training of Deep Bidirectional Transformers for Language Understanding BERT = Bidirectional Encoder Representations from Transformers 2018 年 10 月の SOTA 論文 自然言語処理のモデル Transformer が使われている 大規模な事前学習モデル 7 つの NLP タスクにて SOTA
4.
エルモとバート
5.
事前学習モデル Feature-based モデル (
例: ELMo) ネットワーク内部で分散表現を学習 Fine-tuning モデル ( 例: GPT) データセットに対して学習
6.
復習: transformer encoder: self-attention 入力
X Q,K,V = X*W[q],*W[k],*W[v] softmax(Q*K)*V Q: 検索クエリ K: 文字 V: データ
7.
BERT のモデル 双方向 Transformer 二種類のモデルがある BASE(16TPU*4day) 7000
ドルくらい? LARGE(64TPU*4day) 入力 一つの文章 / 文章ペア 学習時間がかかる 15% の単語にマスクをかけ て予測するので何度も回す
8.
BERT のモデル インプットは 512
になるように切る 必ず最初に [CLS] を使う 2 つの文を使うとき [SEP] を使うか、 AB をつける
9.
タスクと学習 ランダムにマスクされた単語を予測する 2つの文章を比較して隣合っているかを判別する Pre-training データセット: BooksCorpus(800M)+English Wikipedia(2500M) 系列長が合計
512 以下になるようサンプリング Fine-tuning 分類層、 softmax 層を追加 バッチサイズ、学習率、エポック数を変更
10.
アーキテクト
11.
実験 QA 抜けてる単語を当てる thanks... .https://twitter.com/_Ryobot/status/1050925881894400000
12.
他の実験 事前学習 モデルのサイズ 学習回数 feature-based アプローチ 気になったら論文読んで下さ い ..
13.
まとめ 双方向モデルは自然言語に適してる BERT の事前学習パラメータがあれば転移学習で色々な タスクに使える 内部も分かり始めている お金が欲しい ...
14.
end roll https://www.slideshare.net/DeepLearningJP2016/dlbert-pretraining-of-deep-bidirectional-transform https://qiita.com/Kosuke-Szk/items/d49e2127bf95a1a8e19f
Download now