A presentation for meeting of statistics in Japan.
https://connpass.com/event/204931/
Topics:
Methods and their properties to measure dependencies between variables
A presentation for meeting of statistics in Japan.
https://connpass.com/event/204931/
Topics:
Methods and their properties to measure dependencies between variables
Recursively Summarizing Books with Human Feedbackharmonylab
公開URL:https://arxiv.org/abs/2109.10862
出典:Jeff Wu, Long Ouyang, Daniel M. Ziegler, Nisan Stiennon, Ryan Lowe, Jan Leike, Paul Christiano : Recursively Summarizing Books with Human Feedback, arXiv:2109.10862 (2021).
概要:MLモデルの学習のために行動の良し悪しを表すtraining signalを人間がループの中で提供する必要があるタスクが多く存在する.人間による評価に時間や専門的な知識を要するタスクの学習のためには,効果的なtraining signalを生成するためのスケーラブルな手法が必要となる.本論文では書籍全体の要約タスク(abstractive)を対象として,再帰的なタスクの分解と人間のフィードバックからの学習を組み合わせたアプローチを紹介する.モデルによる要約の中には人間が書いた要約の品質に匹敵する要約もあるが,平均するとモデルの要約は人間の要約に著しく劣ることが示された.
Ryosuke Hattori, Kazushi Okamoto, Atsushi Shibata: Visualizing the Importance of Floor-Plan Image Features in Rent-Prediction Models, Joint 11th International Conference on Soft Computing and Intelligent Systems and 21st International Symposium on Advanced Intelligent Systems (SCIS-ISIS2020), 2020.12
Kanta Nakamura, Kazushi Okamoto: Directed Graph-based Researcher Recommendation by Random Walk with Restart and Cosine Similarity, Joint 11th International Conference on Soft Computing and Intelligent Systems and 21st International Symposium on Advanced Intelligent Systems(SCIS-ISIS2020), 2020.12
Kanta Nakamura, Kazushi Okamoto: Development of a Collaborator Recommender System Based on Directed Graph Model, 20th International Symposium on Advanced Intelligent Systems and International Conference on Biometrics and Kansei Engineering (ISIS2019&ICBAKE2019), 2019.12
Kazushi Okamoto: Text Analysis of Academic Papers Archived in Institutional Repositories, 15th IEEE/ACIS International Conference on Computer and Information Science (ICIS2016), 2016.06.28
Kazushi Okamoto: Families of Triangular Norm Based Kernel Function and Its Application to Kernel k-means, Joint 8th International Conference on Soft Computing and Intelligent Systems and 17th International Symposium on Advanced Intelligent Systems (SCIS-ISIS2016), 2016.08.25
More from Okamoto Laboratory, The University of Electro-Communications (13)
9. 2016.07.09 / 40インタラクティブ情報アクセスと可視化マイニング研究会
ニューラルネットワークの歴史的経緯
9
1957 F. Rosenblatt パーセプトロン(perceptron)
1969
M. Minsky
S. Papert
単純パーセプトロンの線形非分離問題の提起
1979 K. Fukushima ネオコグニトロン(neocognitron)
1986
D. E. Rumelhart
G. E. Hinton
J. R. Williams
誤差逆伝播法(backpropagation)
1989 Y. LeCun
畳込みニューラルネットワーク
(convolutional neural networks)
2006
G. E. Hinton
S. Osindero
Y. W. Teh
Deep Belief Nets
32. 2016.07.09 / 40インタラクティブ情報アクセスと可視化マイニング研究会
学習済みのモデルの活用
AlexNet
• ImageNet Large Scale Visual Recognition Challenge 2012で優勝
最終層を目的に併せて変更.基礎的な視覚能力は獲得している
ので,手元にあるデータのみでファインチューニング
32
A. Krizhevsky, I. Sutskever, G. E. Hinton
ImageNet Classification with Deep Convolutional Neural Networks
Advances in Neural Information Processing Systems 25, pp.1097-1105, 2012