【DL輪読会】"Secrets of RLHF in Large Language Models Part I: PPO"
1. 1
DEEP LEARNING JP
[DL Papers]
http://deeplearning.jp/
Secrets of RLHF in Large Language Models Part I:
PPO 今井 翔太(東京⼤学 松尾研究室)
Twitter:えるエル@ImAI_Eruel
DL輪読会2023/07/21
2. 書誌情報
nタイトル:Secrets of RLHF in Large Language Models Part I: PPO
n出典:https://arxiv.org/abs/2307.04964
n著者:Rui Zheng, Shihan Dou, Songyang Gao, Yuan Hua, Wei Shen, Binghai Wang,
Yan Liu, Senjie Jin, Qin Liu, Yuhao Zhou, Limao Xiong, Lu Chen, Zhiheng Xi, Nuo Xu,
Wenbin Lai, Minghao Zhu, Cheng Chang, Zhangyue Yin, Rongxiang Weng, Wensen
Cheng, Haoran Huang, Tianxiang Sun, Hang Yan, Tao Gui, Qi Zhang, Xipeng Qiu,
Xuanjing Huang
n所属:ByteDance Inc
Shota Imai | The University of Tokyo
2
5. RLHF(Reinforcement Learning From Human Feedback)
nChatGPTなどで,出⼒を⼈間のこのみに合わせるために⾏う強化学習
n⼈間の⼿でスコアづけしたデータから報酬モデルを作成し,LLMの出⼒を
⽅策とみなして学習を⾏う
Shota Imai | The University of Tokyo
5