Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

【ハンズオン】汎用性の高い自然言語処理モデルとは?HAIM【オンライン】

75 views

Published on

イベント
https://haim.connpass.com/event/173785/

ハンズオン
https://colab.research.google.com/github/ydaigo/BERT_HANDSON/blob/master/BERT_HANDS_ON.ipynb#scrollTo=U3LfNzvnQM09

Published in: Data & Analytics
  • Be the first to comment

  • Be the first to like this

【ハンズオン】汎用性の高い自然言語処理モデルとは?HAIM【オンライン】

  1. 1. 汎用性の高い 自然言語処理モデルとは? 2020/05/02 HAIM ( 北陸AI&MeetUp )
  2. 2. タイムスケジュール 20:00~20:05 HAIMの紹介 Saegusa様 20:05~20:10 協賛企業であるForkwell様 20:10~20:30 自然言語処理、BERTの紹介 20:30~20:50 BERTのハンズオン 20:50~ 質問タイム&雑談
  3. 3. HAIMとは? 北陸AI&Meetup
  4. 4. 自己紹介 • 山本大悟 (先週で23歳!) •住んでいる場所:富山県 • 興味:データ分析コンペ • twitter:@161abcd
  5. 5. この勉強会の目的
  6. 6. 1.初学者が自然言語処理を 学ぶきっかけになってもらうこと 2.Googleが開発したモデルの BERTの概要を理解すること
  7. 7. 自然言語処理とは? コンピュータが自然言語を理解することです。 自然言語 英語や日本語のような 人が日常的に使う言葉
  8. 8. 自然言語処理で何ができる? 文章生成 感情判定 文章要約 ハンズオンで扱う
  9. 9. 感情判定とは? 私はノートパソコンを壊した。 私はノートパソコンを購入した。
  10. 10. 日本語と英語の自然言語処理 の違い
  11. 11. 英語の場合 I am Engineer in Japan. I am Engineer in Japan 単語ごとに唯一の数字を割り当てる
  12. 12. 日本語の場合 私はエンジニアである。 形態素解析 単語ごとに唯一の数字を割り当てる
  13. 13. 自然言語処理の2種類のモデル
  14. 14. RNN(リカレントニューラルネットワーク)
  15. 15. 文章を一方向から理解(RNN) I am Engineer in Japan OR 順番に認識
  16. 16. RNNの問題点 学習時間が長い 逐次処理であるため…
  17. 17. BERT
  18. 18. 文章を双方向から理解(BERT) I am Engineer in Japan OR
  19. 19. Transformer 注意(Attention)が大切!
  20. 20. Transformerとは Attentionを用いたモデル transformer ベース BERT
  21. 21. Attentionはどの単語と関係性が深いか 国語 数学 モノづくり パソコン 犬
  22. 22. BERTについて • 学習データ • Wikipedia + BookCorpus • 教師なし学習 • 文脈を理解できる • できること • 固有表現抽出 • 感情判定 • 質問回答
  23. 23. BERTの学習は2種類 •単語の予測 •文のつながりの予測
  24. 24. [BERTの学習]単語の予測 •男は??に行った。 •彼は??牛乳を購入した。 パック お店
  25. 25. [BERTの学習]文章のつながりの予測 • 男はお店に行った。 • 彼はパック牛乳を購入した。 • ラベル:つながりあり
  26. 26. [BERTの学習]図で説明すると? BERT 男は??に行った。 彼は??牛乳を購入した。 単語ごとに一意の数字に変換 つながりあり お店 パック
  27. 27. [BERTの微調整]文章のクラス分類 BERT 私は幸せだ。 単語ごとに一意の数字に変換 クラスラベル:ポジティブ
  28. 28. [BERTの微調整]質問回答 BERT 私の職業はエンジニアである。 単語ごとに一意の数字に変換 あなたの職業は何ですか?[SEP]エンジニア あなたの職業は何ですか?
  29. 29. ハンズオンで使うライブラり紹介
  30. 30. Transformersの特徴 •フレームワーク • pytorch,tensorflow •100以上の自然言語処理モデルを提供 •学習済みモデルの共有
  31. 31. 参考資料 • ゼロから作るDeep Learning ❷ ―自然言語処理編 (日本語) • つくりながら学ぶ! PyTorchによる発展ディープラーニング • https://huggingface.co/transformers/ • https://github.com/huggingface/transformers • http://jalammar.github.io/illustrated-transformer/
  32. 32. ハンズオンへGO

×