系列ラベリングの基礎

•

2 likes•5,464 views

Takatomo Isikawa

「言語処理のための機械学習入門」輪読　第５章 @ AITC CC部会

Engineering

公開URL：https://arxiv.org/abs/2111.09543 出典：Pengcheng He, Jianfeng Gao, Weizhu Chen : DeBERTaV3: Improving DeBERTa using ELECTRA-Style Pre-Training with Gradient-Disentangled Embedding Sharing, arXiv: 2111.09543 (2021) 概要：本論文ではDeBERTaの事前学習手法をMasked Language Modeling(MLM)からELECTRAで提案されたReplaced Token Detection(RTD)に変更したDeBERTa V3を紹介する．また，ELECTRAにおけるGeneratorとDiscriminatorのEmbedding共有手法の問題点を分析し，その問題を回避する新しい共有手法であるGradient-Disentangled Embedding Sharingを提案する．代表的な自然言語理解タスクでDeBERTa V3の性能を評価し，同様の構造をもつモデルの中でも高い性能を示すことを示した．

深層学習による自然言語処理入門: word2vecからBERT, GPT-3まで

Yahoo!デベロッパーネットワーク

深層学習の不確実性 - Uncertainty in Deep Neural Networks -

tmtm otm

強化学習における好奇心

Shota Imai

強化学習のアルゴリズムの中で，複雑な環境の探索のために内発的報酬を用いているアルゴリズムを紹介した資料です．未知の状態への探索を促していることから「好奇心」を用いた探索とも呼ばれます．元々は別の場所で公開していた資料でしたが，いくつかの修正を加えて，こちらに改めてアップしました．

[DL輪読会]Learning Transferable Visual Models From Natural Language Supervision

Deep Learning JP

情報抽出入門〜非構造化データを構造化させる技術〜Yuya Unno

[DL輪読会]相互情報量最大化による表現学習

Deep Learning JP

強化学習の基礎と深層強化学習（東京大学松尾研究室深層強化学習サマースクール講義資料）

Shota Imai

東京大学松尾研究室が主催する深層強化学習サマースクールの講義で今井が使用した資料の公開版です．強化学習の基礎的な概念や理論から最新の深層強化学習アルゴリズムまで解説しています．巻末には強化学習を勉強するにあたって有用な他資料への案内も載せました．主に以下のような強化学習の概念やアルゴリズムの紹介をしています．・マルコフ決定過程・ベルマン方程式・モデルフリー強化学習・モデルベース強化学習・TD学習・Q学習・SARSA ・適格度トレース・関数近似・方策勾配法・方策勾配定理・DPG ・DDPG ・TRPO ・PPO ・SAC ・Actor-Critic ・DQN（Deep Q-Network）・経験再生・Double DQN ・Prioritized Experience Replay ・Dueling Network ・Categorical DQN ・Noisy Network ・Rainbow ・A3C ・A2C ・Gorila ・Ape-X ・R2D2 ・内発的報酬・カウントベース・擬似カウントベース・RND（Random Network Distillation）・ICM（Intrinsic Curiosity Module）・Go-Explore ・世界モデル（World Models）・MuZero ・SimPLe ・NGU（Never Give Up）・Agent57 ・AlphaGo ・AlphaGo Zero ・AlphaZero ・OpenAI Five ・AlphaStar ・マルチエージェント強化学習

意思決定・合意形成を支援する技術のひとつとして、文書や発言の議論構造を自動的に認識し、大量の意見を俯瞰する議論マイニング (argumentation mining)を紹介する。本講演ではまず、議論マイニングとその周辺技術（感情分析、評判分析、談話構造分析など）を整理する。そして、因果関係などの議論マイニングに必要な常識的知識の獲得、その知識を深層ニューラルネットワークに埋め込む手法など、最先端の研究事例を紹介する。

【論文調査】XAI技術の効能をユーザ実験で評価する研究

Satoshi Hara

【DL輪読会】Scaling Laws for Neural Language Models

Deep Learning JP

全力解説！Transformer

Arithmer Inc.

本スライドは、弊社の梅本により弊社内の技術勉強会で使用されたものです。近年注目を集めるアーキテクチャーである「Transformer」の解説スライドとなっております。 "Arithmer Seminar" is weekly held, where professionals from within and outside our company give lectures on their respective expertise. The slides are made by the lecturer from outside our company, and shared here with his/her permission. Arithmer株式会社は東京大学大学院数理科学研究科発の数学の会社です。私達は現代数学を応用して、様々な分野のソリューションに、新しい高度AIシステムを導入しています。AIをいかに上手に使って仕事を効率化するか、そして人々の役に立つ結果を生み出すのか、それを考えるのが私たちの仕事です。 Arithmer began at the University of Tokyo Graduate School of Mathematical Sciences. Today, our research of modern mathematics and AI systems has the capability of providing solutions when dealing with tough complex issues. At Arithmer we believe it is our job to realize the functions of AI through improving work efficiency and producing more useful results for society.

ChatGPT 人間のフィードバックから強化学習した対話AI

Shota Imai

大規模データに基づく自然言語処理

JunSuzuki21

[DL輪読会]Revisiting Deep Learning Models for Tabular Data (NeurIPS 2021) 表形式デー...

Deep Learning JP

Attentionの基礎からTransformerの入門まで

AGIRobots

勾配ブースティングの基礎と最新の動向 (MIRU2020 Tutorial)

RyuichiKanoh

Gradient Boostingは近年Kaggleなどのコンペティションで注目を集めている分類や回帰問題に対するアルゴリズムの一つである。XGBoost, LightGBM, CatBoostなどが有名ではあるが、それらを土台にして近年はDeepGBMやNGBoostといった新規アルゴリズムの登場、汎化理論解析の進展、モデル解釈性の付与方法の多様化など、理論から応用まで多岐にわたる研究が行われている。本チュートリアルでは、Gradient Boostingに関する近年の研究動向やテクニックを、それらの社会実装までを見据えながら紹介していく。

リクルート式　自然言語処理技術の適応事例紹介

Recruit Technologies

強化学習エージェントの内発的動機付けによる探索とその応用（第4回統計・機械学習若手シンポジウム招待公演）

Shota Imai

本資料は2019年11月15日~11月16日に行われた統計・機械学習若手シンボジウムで今井が行った招待公演「強化学習エージェントの内発的動機付けによる探索とその応用」で使用した資料を，自主公開版として一部修正したものです．いわゆる内発的報酬（Intrinsic Reward）を用いた強化学習の手法について，近年（〜2019年）の手法や内容をまとめたものになります．

言語と画像の表現学習

CV分野におけるサーベイ方法

ゼロから始める転移学習

強化学習その3

最適輸送入門

強化学習の基礎的な考え方と問題の分類