研究グループ内で行っている勉強会の資料です

1. ニューラルネットワーク
勉強会
第1回
柳本 豪一

2. はじめに
• ニューラルネットワークを自然言語処理応用という
から勉強する勉強会です。
• 目標はChainerを使ってニューラルネットワークを
自分で構築し、自然言語処理に応用できるようにな
ることです。

3. はじめに
• ニューラルネットワークを自然言語処理応用という
から勉強する勉強会です。
• 目標はChainerを使ってニューラルネットワークを
自分で構築し、自然言語処理に応用できるようにな
ることです。
• 個人的にはPythonとChainerを理解して、私が
使いこなすことです。
やっぱり他人に説明するのが一番の近道です!!

4. 未定な予定
• プログラム環境の説明
Python、Bitbucket、Chainerの説明
• Chainerを使ったニューラルネットワークの実装
多層ニューラルネットワーク、リカレントニューラ
ルネットワーク(LSTM含む)の利用方法
• 論文の実装
Encoder-Decoder翻訳モデル、Attentional
Neural Network翻訳モデルなどなど

5. ソースコード管理
• ソースコードの管理をしよう！
研究室と家で開発したコードはしっかり統合
論文・発表で使ったプログラムをしっかり保存
卒業する時にはコードを研究室にしっかり継承
コードレビューを依頼しやすくしっかりパッケージ
• クラッシュに備えよう！
締め切り前でも他の環境へすぐに移行
対象コードをいつでもすぐに発見

6. 理想のコード管理
• クラウド環境での管理
自動的にコードの分散管理
自動的にコードのバックアップ
インターネットを介したPCへのコードのコピー
• コードのバージョンを効率的に管理
コードの機能の対応付け
必要なバージョンのコードへの復帰
• コードの閲覧範囲を制限
研究室のメンバーのみの閲覧

7. 何を使うのか？
• Dropbox
クラウド管理はOK
バージョン管理は今ひとつ
閲覧制限は少し制約あり
• Github
クラウド管理、バージョン管理はOK
閲覧制限は制約あり
• Bitbucket
クラウド管理、バージョン管理、閲覧制限はOK

8. 何はともあれ
Bitbucketを
使ってみよう

9. フレームワークを使おう
• Theano
Montreal大学、automatic differentiation最強
• Caffe
UC Berkeley、画像処理では世界的に利用される
• Torch7
Ronan Collobert、Tensor便利そう
• Chainer
PFN、日本での利用者が多そう

10. フレームワークを使おう
• Theano
Montreal大学、automatic differentiation最強
• Caffe
UC Berkeley、画像処理では世界的に利用される
• Torch7
Ronan Collobert、Tensor便利そう
• Chainer
PFN、日本での利用者が多そう

11. フレームワークを使おう
• Theano(新しいアルゴリズムを開発するには便利)
Montreal大学、automatic differentiation最強
• Caffe
UC Berkeley、画像処理では世界的に利用される
• Torch7
Ronan Collobert、Tensor便利そう
• Chainer(自然言語処理向きのライブラリが多い)
PFN、日本での利用者が多そう

12. 目的のため手段を選ばず
• Chainerを使おう
LSTMや1-of-nコーディングが標準提供
• Pythonを使おう
TheanoもChainerもPython

13. Chainerのインストール
• http://chainer.orgを見てください
• 基本的なインストール方法
Python2.7ベース
• pip install chainer
• easy_install pip
サンプルコード
git clone https://github.com/pfnet/chainer.git