Recommended
More Related Content
Similar to ラビットチャレンジレポート 深層学習Day4
Similar to ラビットチャレンジレポート 深層学習Day4 (19)
Recently uploaded
Recently uploaded (8)
ラビットチャレンジレポート 深層学習Day4
- 2. 目次 Section1: 強化学習 Section2: AlphaGo Section3: 軽量化・高速化技術 Section4: 応用モデル Section5: Transformer Section6: 物体検知・セグメンテーション 2
- 4. Section1: 強化学習 4 概要 強化学習: 長期的報酬を最大化できるように環境の中で行動を選択できるエージェントを作ることを目標とする機 械学習の一分野。学習データが存在する教師あり学習や教師なし学習とは異なり、強化学習では学習データが存在 しない。行動の結果として与えられる利益(報酬)をもとに、行動を決定する原理を改善していく仕組み。 Q学習: 行動価値関数Qを行動するごとに更新することで学習を進める方法。 関数近似法: 価値関数や方策関数を関数近似する手法。 価値関数: ある状態の価値を評価する状態価値関数と状態と価値を組み合わせたものを評価する行動価値関数の2つ が存在する。 方策関数: ある状態でどのような行動を選択するかの確率を与える関数。 方策勾配法: 方策関数を最適化するための手法。 強化学習のイメージ マーケティングの場合 環境: 会社の販売促進部 エージェント: プロフィールと購入履歴に基づいて、キャン ペーンメールを送る顧客を決めるソフトウェア 行動: 顧客ごとに送信、非送信を選択 報酬: キャンペーンのコスト(負)とキャンペーンによる売上(正)
- 6. Section2: AlphaGo 6 概要 AlphaGo: 2016年にDeepMind社が開発した囲碁のゲームAI。モンテカル木探索と深層強化学習を組み合わせた モデル。 AlphaGo Zero: AlphaGo Zeroの発展系。AlphaGoで行っていた人間の棋譜を用いた教師あり学習は行わず、自己 対戦による棋譜のみを使用して学習する。従来のAlphaGoを上回る強さを持つ。 モンテカルロ木探索: 複数回のランダムシミュレーション(プレイアウト、ロールアウト)を通して探索木を構築し、 最前手を選択する手法。 Policy Net: AlphaGoの構成要素の一つ。方策を学習するためのニューラルネットワーク。CNNを使用している。 Value Net: AlphaGoの構成要素の一つ。盤面を評価する価値を学習するためのニューラルネットワーク。CNNを 使用している。 RollOutPolicy: AlphaGoの構成要素の一つ。モンテカルロ木探索の際のプレイアウトに用いられる。 PolicyValueNet: AlphaGo Zeroの構成要素の一つ。Policy NetとValue Netを一つにしたニューラルネットワーク。 Residual Network: PolicyValueNetに使用されている技術。ネットワークにショートカット構造を追加すること で勾配の消失や爆発を抑えている。
- 9. Section2: AlphaGo 9 AlphaGoとAlphaGo Zeroの違い 1. 教師あり学習を一切行わず、強化学習のみで構築。 2. 特徴入力からヒューリスティックな要素を排除し、石の配置のみにした。 3. PolicyNetとValueNetを1つのネットワークに統合した。 4. Residual Netを導入した。 5. モンテカルロ木探索からRollOutシミュレーションをなくした。
- 11. Section3: 軽量化・高速化技術 11 概要 分散深層学習: 複数の計算資源(ワーカー)を使用して並列的にニューラルネットワークを構成することで、効率よ く学習を進めること。データ並列化、モデル並列化、GPUの使用などの技術を用いる。 データ並列化: 親モデルを各ワーカーに小モデルとしてコピー。データを分割し、各ワーカーごとに計算させる。 同期型と非同期型があり、同期型は前ワーカーの処理が終了してから更新するのに対して、非同期型は各子モデル ごとに更新を行うため処理が早いが同期型の方が精度が良いことが多いので同期型が主流となっている。 モデル並列化: 親モデルを各ワーカーに分割し、それぞれのモデルを学習させる。全てのデータで学習が終わった 後で、一つのモデルに復元。 データ並列化 モデル並列化 モデルが大きい時はモデル並列化を、データが大きい時はデータ並列化を行うと良い。
- 12. Section3: 軽量化・高速化技術 12 GPUよる高速化 GPCPU: General-purpose on GPUの略。元々の使用目的であるグラフィック以外の用途で使用されるGPUの総称。 CPU: Central Processing Unitの略。高性能な少数のコアで構成され、複雑で連続的な処理が得意。 GPU: Graphics Processing Unitの略。比較的低性能な多数のコアで構成され、簡単な並列処理が得意。ニューラル ネットの学習に適している。 CUDA: GPU上で並列コンピューティングを行うためのプラットフォーム。NVIDIA社が開発しているGPUのみで使 用可能。Deep Learning用に提供されているので使いやすい。 OpenCL: オープンな並列コンピューティングのプラットフォームNVIDIA社以外の会社(Intel, AMD, ARMなど)の GPUからでも使用可能。Deep Learning用の計算に特化しているわけではない。
- 13. Section3: 軽量化・高速化技術 13 モデルの軽量化 量子化: パラメータのbit数を下位の精度に落とす(64bit→32bit)ことでメモリと演算処理の削減を行う手法。計算 の高速化や省メモリ化の利点があるが、精度が低下する欠点がある。 蒸留: 大規模モデルの知識を使い軽量なモデルの作成を行う手法。予測精度の高い、複雑なモデルやアンサンブル されたモデルの教師モデルと教師モデルをもとに作られる軽量な生徒モデルの2つで構成される。 プルーニング: 寄与の少ないニューロンをモデルから削除してモデルの軽量化、高速化を行う手法。ニューロンの 削減は重みがしきい値以下の場合、ニューロンを削除して再学習することで行う。
- 15. Section4: 応用モデル 15 概要 MobileNet: ディープラーニングモデルの軽量化・高速化・高精度化を実現したモデル。Depthwise Convolutionと Pointwise Convolutionを組み合わせることで軽量化を実現している。 Depthwise Convolution: 入力マップのチャネルごとに畳み込みを行う手法。 Pointwise Convolution: 1 × 1 × 𝐶のフィルタで畳み込むを行う手法。 DenseNet: CNNの一種でDenseBlockと呼ばれるResNetのスキップ構造に似た構造を持ち、層が深いネットワーク の学習を可能にしたモデル。 DenseBlock: 出力層に前の層の入力を足し合わせる構造。 Layer正規化: それぞれのサンプルの全てのピクセルが同一分布に従うように正規化する。 Instance正規化: チャネルも同一分布に従うように正規化する。 WaveNet: 生の音声波形を生成する深層学習モデル。Pixcel CNNを音声データに応用したもの。時系列データに畳 み込み演算を適用している。
- 16. Section4: 応用モデル 16 確認テスト Q1. ・Depthwise Separable Convolutionという手法を用いて計算量を削減している。通常の畳込みが空間方向とチャ ネル方向の計算を計算を同時に行うのに対して、Depthwise Separable ConvolutionではそれらをDepthwise ConvolutionとPointwise Convolutionと呼ばれる演算によって個別に行う。 ・Depthwise Convolutionはチャネル毎に空間方向へ畳み込む。すなわち、チャネル毎に𝐷𝑘 × 𝐷𝑘 × 1のサイズの フィルターをそれぞれ用いて計算を行うため、その計算量は(い)となる。 ・次にDepthwise Convolutionの出力をPointwise Convolutionによってチャネル方向に畳み込むすなわち、出力 チャネル毎に1 × 1 × 𝑀のサイズのフィルターをそれぞれ用いて計算を行うため、その計算量は(う)となる。 A1. (い) 𝐻 × 𝑊 × 𝐶 × 𝐾 × 𝐾 (う) 𝐻 × 𝑊 × 𝐶 × 𝑀 Q2. 深層学習を用いて結合確率を学習する際に、効率的にがくしゅうが行えるアーキテクチャを提案したことが WaveNetの大きな貢献の1つである。提案された新しいConvolution型アーキテクチャは(あ)と呼ばれ、結合確率を 効率的に学習できるようになっている。(あ)を用いた際の大きな利点は、単純なConvolution layerと比べて(い)こ とである。 A2. (あ) Dilated causal convolution (い) パラメータ数に対する受容野が広い
- 18. Section5: Transformer 18 概要 Transformer: 2017年6月に登場したRNNを使用せず、Attentionのみを用いた自然言語処理の機械学習モデル。 Self-Attention: Transformerに用いられている技術の一つ。入力を全て同じにして学習的に注意箇所を決定してい く仕組み。 Multi-Head attention: Transformerの構造の一部。重みの異なる８個のヘッドを使用している。」
- 19. Section5: Transformer 19 原論文: Attention is all you need 著者 1Ashish Vaswani, 1Noam Shazeer, 2Niki Parmar, 2Jakob Uszkoreit, 2Llion Jones, 3Aidan N Gomez, 1Lukasz Kaiser, and Illia Polosukhin. (1Google Brain, 2Google Research, 3University of Toronto) 背景 ・自然言語処理の分野は、リカレントニューラルネットワーク(RNN)を用いたアプローチにより発展してきた。 ・RNNでは逐次的な計算を行うため計算効率が悪い。 ・畳み込み(CNN)やアテンション機構を併用することで効率化が図られてきたが、入出力の距離が離れるにつれ学 習が困難になる。 成果 ・LSTMを用いず多層にしたアテンションのみを用いたモデルを提案。 ・WMT2014の英独翻訳において、これまでのモデルより2BLEU以上高い28.4BLEUを達成した。 ・WMT2014の英仏翻訳において、41.0BLEUスコアを達成した。 ・学習は8つのGPUを用いて3.5日間で行われた。
- 21. Section5: Transformer 21 Transformerの発展系(BERT) BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding 著者 Jacob Devlin and Ming-Wei Chang and Kenton Lee, Kristina Toutanova (Google AI Language) 背景 ・学習済み言語モデルは自然言語処理の精度向上に効果的である。 ・従来の言語モデルは一方向であるため、ファインチューニング できるアーキテクチャが制限される。 成果 ・事前学習としてMLM(マスクされた言語モデル)とNSP(次文予測) を行い、双方向から文脈を学習する手法を提案。 ・事前学習済モデルに対し、タスクに応じて出力レイヤーを1つ追 加しファインチューニングすることで最先端のモデルを作成可能。 ・文章分類や機械応答など11個のタスクにおいて最先端のスコア (SOTA)を達成。 BERTはGoogle社が開発したエンコーダにTransformerを利用した事前学習モデル
- 25. Section6: 物体検知・セグメンテーション 25 概要 物体検知: 入力画像に写る物体クラスの識別とその物体の位置を特定するタスク。物体検知のモデルには、2段階モデ ルと1段階モデルの2種類がある。 2段階モデル: 物体の位置を特定した後、その物体のクラスを識別するモデル。代表的なものにR-CNN、FPNがある。 1段階モデル: 物体の位置の特定とクラスの識別を同時に行うモデル。代表的なものにYOLO、SSDがある。 IoU: Intersection over Unionの略で物体検知に用いられる評価指標。予測領域と正解領域の共通部分を和集合で除算 した値 AP: Average Precisionの略でPrecision-Recall曲線の下部分の面積。 mAP: mean Average Precisionの略で各クラス毎のAPの平均値。 セグメンテーション: 画像の画素ごとに 識別を行うタスク。代表的なモデルにU-NetやSegNetがある。 物体検知の代表的なデータセット クラス Train+Val Box/画像 VOC12 20 11,540 2.4 ILSVRC17 200 476,668 1.1 MS COCO18 80 123,287 7.3 OICOD18 500 1,743,042 7.0