Recommended
Recommended
More Related Content
What's hot
What's hot (20)
Similar to AI course report part 1
Recently uploaded
Recently uploaded (10)
AI course report part 1
- 3. 線形代数
- 4. 行列 • スカラー・・・普通の数 • ベクトル・・・向きを持つスカラーのセット • 行列・・・ベクトルの集まり。ベクトルを並べたもの • 行列とベクトルの積 a b e ｇ ＝ a×e＋b×f a×g＋b×h c d f h c×e＋d×f c×g＋d×h
- 5. 逆行列 • 逆数とは、その数に掛け合わせるとになる数。 例）３は1/3、2/5は5/2 • 逆行列・・・n次の正則行列Aについて、 AB＝BA＝E となるn次正方行列Bを逆行列といい A－１（インバース）で表す。 （逆行列は正則行列１つにつき、１つしかない） ※問題でインバースは逆行列を求めよ、という意 ・単位行列・・・かけてもかけられても相手が変化しない、 「１」のような行列をいう。
- 6. 逆行列の求め方 • 逆行列の求め方・・・掃き出し法を使う。 （行列の横に単位行列を記載し、行列を単位行列にするために、 行を何倍する、行を入れ替える、などを行う。） ・逆行列が存在しない条件・・・ad-bc=0（2つのベクトルに 囲まれる平行四辺形の面積がゼロの場合） ・行列式・・・逆行列の有無を判別する。 【行列式の求め方】 a11 a12 a13 a21 a22 a23 ＝ a11 – a21 + a31 a31 a32 a33 a22 a23 a32 a33 a12 a13 a32 a33 a12 a13 a22 a23 a b c d = ad-bc
- 7. 固有値・固有ベクトル a b x c d y ＝λ ｘ ｙ ｘ ｙ ≠ 0 上記の式が成り立つとき、 この特別な数ベクトル を、行列 のλに対する固有ベクトル λを行列 の固有値という。 a b c d a b c d ｘ ｙ 1 4 2 3 ＝５1 1 1 1 固有値 固有ベクトル 例
- 9. 特異値分解 正方形ではない長方形の行列もMMTをかけると正方形になり分 解できる。 ⇒画像を圧縮するのに便利。 ⇒画像が似ているかをコンピュータが分かるようになる。 M = 1 2 3 3 2 1 = 1/√2 -1/√2 1/√2 1/√2 2√6 0 0 0 2 0 1/√3 1/√3 1/√3 1/√2 0 -1/√2 1/√6 -2/√6 1/√6 例
- 10. 統計学
- 11. 集合 A ∪ B A ∩ B U A ＝ A B A
- 12. 確率 • 頻度確率（客観確率）・・・発生する頻度 • ベイズ確率（主観確率）・・・信念の度合い • 確率の程度 • 条件付き確率・・・事象Bの条件下でAとなる確率 ⇒すべての条件下ではないため、確率は上がる。 • ベイズ則・・・事象Aと事象Bに対して以下が成り立つ。 P(A)P(B|A)＝P(B)P(A|B) P(A) ＝ ｎ(A) 事象Aが起こる数 ｎ(U) すべての事象の数 ＝ P(A｜B)
- 13. 統計 • 確率変数・・・事象と結びつけられた数値 • 確率分布・・・事象の発生する確率の分布 • 期待値・・・確率変数の平均の値またはありえそうな値 • 分散・・・データの散らばり具合 • 共分散・・・２つのデータ系列の傾向の違い （正は似た傾向、負は逆の傾向、ゼロは関係性なし） • 標準偏差・・・分散の平方根を求めて単位を戻したもの。
- 14. 統計 • ベルヌーイ分布・・・コイントスのイメージ。表裏が同じ 確率でなくても扱える。 P(x|μ)＝μ（１－μ） • マルチヌーイ・・・さいころを転がすイメージ。各面が出る 割合が同じでなくても扱える。 • 二項分布・・・ベルヌーイ分布の多試行版。 • ガウス分布・・・釣鐘型の連続分布 Ｘ 1-Ｘ
- 15. 推定 • 推定と真の値を区別するため、真の値をΘとすると 推定値はΘ（シータハット）と表す。 • 標本平均・・・点平均の大表。一致制と不偏性がある。 • 標本分散・・・一致制は満たすが、不偏性は満たさない。 • 不偏分散・・・標本分散の標本が少ないとばらつきが大きくな るため、それを修正する。1/n-1を掛ける。
- 16. 情報科学
- 17. 情報科学 • 自己情報量・・・その情報量の珍しさ I(x)＝-log(P(x))=log(W(x)) • log(対数)・・・３ ＝９⇒log ９＝２ ｜⇒珍しいことは数字が小さくなるため、大きく見せる。 • シャノンエントロピ・・・自己情報量の期待値 • カルバック・ライブラーダイバージェンス・・・同じ事象・ 確率分布における異なる確率分布P,Qの違いを表す。 PとQの珍しさの違い。 ２ 3
- 18. 情報科学 • DKL（P||Q）・・・Qが最初に知っている情報、 Pがあとから分かった情報。 • 交差エントロピー（Hを使う）・・・KLダイバージェンスの一 部分を取り出したもの。Qについての自己情報量をPの分布で平 均している。 ⇒ H(P,Q)＝－ΣP(x)logQ(x)k
- 19. 機械学習
- 20. 線形回帰モデル • 回帰問題・・・ある入力から出力を予測する問題 ⇒直線で予測・・・線形回帰 ⇒曲線で予測・・・非線形回帰 • 線形回帰モデル・・・回帰問題を解くための器楽学習モデル 教師あり学習 • 線形結合・・・入力ベクトルと未知のパラメータの内積 • モデルのパラメータ・・・モデルに含まれる推定すべき未知の パラメータ ⇒最小二乗法により推定
- 23. 線形回帰モデルのパラメータ推定 • 線形回帰モデルのパラメータ推定は最小二乗法を利用 • 平均二乗誤差・・・データとモデルの二乗誤差。 小さいほど直線とデータの距離が小さい。 • 最小二乗法・・・学習データの平均二乗誤差を最小とする パラメータを検索 ⇒勾配がゼロになる点を求める。 ※最尤法による回帰係数の推定 ・・・最尤関数の最大化を利用した推定 ⇒回帰の場合には、最尤法による解は最小二乗法の解と一致
- 27. 未学習と過学習 • 未学習・・・学習データに対して十分小さな誤差が得られない モデル⇒モデルの表現力が低い • 過学習・・・小さな誤差は得られたけどテスト集合誤差との 差が大きいモデル⇒表現力の抑止が必要 ⇒対策 • 不要な基底関数を削除する⇒モデルの複雑さを変化させる。 適切な基底関数を用意する。 • 正則化法（罰則化法）・・・モデルの複雑さに伴って、その値 が大きくなる正則化項（罰則項）を課した関数を最小化させる。
- 31. 最尤推定 • ロジスティック回帰モデルはベルヌーイ分布（※）を使う。 ※ベルヌーイ分布・・・確率ｐで１、確率１－ｐで０をとる 離散確率分布（コイン投げのイメージ） • 同時確率・・・あるデータが得られた時、それが同時に 得られる確率 • 尤度関数・・・同時確率とは逆に、データは固定し、 パラメータを変化させる。 ⇒尤度関数を最大化するようなパラメータを選ぶ推定量を 最尤推定という。
- 34. 確率的勾配降下法（SGD） • 勾配降下法ですべてをやるのではなく、ランダムにデータを選 んで更新するため、確率的となる。 • 勾配降下法では初期値に近い山に収束しやすいが、隔離的勾配 降下法では、その問題を解決する。 • 少しずつ修正していって、収束したところが最尤推定量となる。 勾配降下法のη（イータ）は学習の幅を調整する。最初は大き くてもよいが収束するにしたがって小さくしないといけない。
- 35. モデルの評価（混同行列（confusion matrix） モデルの検証方法の１つ。モデルの予測,データ True,True＝ （TP）True Positive True,False＝（FP）FalsePositive False,True＝（FN）False Negative False,False＝（FN）True Negative ⇒ 正解か不正解か＋モデルがPositiveかNegativeかをつける。
- 36. モデルの評価（混同行列（confusion matrix） • 正解率・・・正解した数／全データ ⇒データに偏りがある場合、すべてを偏りがある ほうにすると性能がよく見えてしまう。 • 適合率(Precition)・・・TP／TP＋FP モデルでPositiveと 回答した中の正解率。スパムメールの検知など で重要なメールを誤判定されたくない場合など。 • 再現率(Recall)・・・TP／TP+FN 正しいデータでTrueに なっているものの中での正解率。ガン検診で 多少の誤判定があっても再検査すればよい場合など。 • F値・・・上記2つはトレードオフの関係にあるような場合、 その平均を取るために使う。
- 37. ハンズオンの考察 • ロジスティック回帰でもタイタニックのような本物のデータでの機械学習、パラメータ の自動探索ができることを知った。 • madplotlibでは以下のようなグラフを作成できることに驚き、大変実用的だと感じた。 • Numpyのコードはやはり難解だったため、時間をかけて理解する必要があると感じた。 • Seaborn・・・Matplotlibのラッパーでもっとかっこよく可視化するためのライブラリー Seabornのオフィシャルサイトのギャラリー にコードも記載されている。
- 44. 演習問題における追加知識
- 45. 深層学習（前編１）
- 46. ニューラルネットワーク
- 47. ニューラルネットワーク全体像 • クライアントは入力⇒出力を気にするが、中間層が重要。 • 入力層の数は任意に決められるが、何が重要なのか、を理解してい れる必要がある。 • 中間層に伝播するときにウェイトとバイアスがかけられる。 【確認テスト】 ディープラーニングは何をやろうとしているのか。 ⇒入力値に対して適切な重みとバイアスを見つけ出し、未知のデータ の分類わけや回帰を行う。 模範解答⇒誤差を最小化するためのパラメータを発見すること。 最適化の最終目的は？ ⇒③重み、④バイアス
- 49. ニューラルネットワークの全体像
- 51. Section１）入力層～中間層 【確認テスト１】 動物分類の実例 u= np.dot(x,W)+b ※内積を取る際には、次元を合わせる必要あり。 【例】３×４ ４×３←４を合わせる。 【確認テスト２】 u=w1x1+w2x2+w3x3+w4x2+b =Wx+b ↑Pythonで記載 【確認テスト３】 中間層の出力部分抜出 # 中間層出力 z = functions.relu(u) print_vec("中間層出力", z) ※functions.reluは活性化関数
- 56. 全結合NN 単層・複数ノード • 中間層は任意で決められるが、増やした場合、その分のウェイ トとバイアスが必要。活性化関数の効果で一部の出力は弱く、 一部は強く伝播される。計算リソースの弊害もあるため、増や せばよいわけではない。 【確認問題】 z=f(u) .. (1,5) のソースコード ----------------------------- z = functions.step(u) ⇒関数はfunctions.pyに定義されている
- 57. 確認 • W ４×３ の時、入力は４、 バイアスは３となる。 ウェイト１０×５ Relu関数の出力 ⇒ ※JNでコメントアウト、 コメントインのショートカットはCtrl+/
- 58. Section３） 出力層 • 出力層の役割・・・人間が視覚できる数字にする。活性化関数で出 力したものと訓練データ（正解値）と比較する。 ※出力は統計的な理論値のため、１００％の時やばらつきがない場合 などは数値をうたがう。 • 誤差関数・・・出力と訓練データの比較の時に使う。出てきた誤差 を少なくしていく。 【確認テスト】 2乗をする意味・・・誤差がマイナスで出てくるとプラスのものと足 し合わせてしまうと差分ではなくなるため。 ½はどういう意味か・・・2乗している誤差の大きさを合わせるため に半分にする。
- 59. • 中間層は信号の強弱を調整するが、出力層は信号の大きさをそ のまま変換する必要がある、という違いがある。 • 出力層は０~１の範囲で、総和を１とする必要がある。 ⇒よって活性化関数は、中間層と異なる 【出力層の活性化関数・誤差関数】 • 関数は以下の通りでFIXしている。計算しやすいため、この組 み合わせとなっている。 Section３） 出力層
- 62. Section4）勾配降下法 • 勾配降下法⇒誤差を最小化するパラメータｗを発見するため に使う。誤差をパラメータで微分した値∇Eに 学習率を掛け合わせたものをパラメータから 減算する。 【確認テスト】 勾配降下法のソースコード # 誤差 loss = functions.cross_entropy_error(d, y) grad = backward(x, d, z1, y) for key in ('W1', 'W2', 'b1', 'b2'): network[key] -= learning_rate * grad[key]
- 63. Section4）勾配降下法 • 学習率（ε） ・・・学習率の値によって、学習の効果が異なる。大きくしす ぎた場合は、最小値にたどり着かず発散してしまう。小さくしす ぎた場合は、発散することはないが収束するまで時間がかかって しまう。また、小さいと三次関数とかになると、大域的極小解に たどり着かず、局所的極小解で収束してしまう可能性もある。 ⇒学習率の決定方法、収束性向上のためのアルゴリズムが必要 • Momentum • AdaGrad • Adadelta • Adam
- 65. Section4）勾配降下法 • ミニバッチ勾配降下法 ・・・ランダムに分割したデータの集合（ミニバッチ）Dt に属するサンプルの平均誤差。確率的勾配降下法の メリットを失わずに、特定のデータ集合へのアプローチ のため、並列処理ができ、計算資源の有効活用ができる。 【確認テスト】 この数式のの意味を図で説明 １ ２ ３ ４ ５ ６ ７ サンプルを抽出してウェイトから減算 = ウェイト － サンプル⇒
- 67. 開発環境 • ローカルではＧＰＵが注目されている。並列処理がポイント。 ⇒計算処理は大切。ゲーミングＰＣが効率的 • 大規模ならクラウド。ＡＷＳのほうがNVIDIAを使えるから有利 ⇒月額４，５万くらいでそこそこ使える。 • 可能な限り学習済みモデルを使い、必要な時のみAIサーバを使 う。 • OSとのバージョンの互換性を考える。 • フレームワークも多いため、活用する。
- 68. Section5) 誤差逆伝播法 誤差をパラメータで微分するには、数値微分でも算出可能である が、計算リソースが大きい。⇒誤差逆伝播法 • 誤差逆伝播法・・・算出された誤差を出力層側から順に微分し、 まえの層へと伝播。最小限の計算で各パラメータでの微分値を 解析的に計算する手法。 ⇒不要な再帰的計算を避けて微分を算出できる。 【確認テスト】 すでに行った計算結果を 保持しているソースコード # 出力層でのデルタ delta2 = functions.d_sigmoid_with_loss(d, y) # b2の勾配 grad['b2'] = np.sum(delta2, axis=0) # W2の勾配 grad['W2'] = np.dot(z1.T, delta2) # 中間層でのデルタ delta1 = np.dot(delta2, W2.T) * functions.d_relu(z1) # b1の勾配 grad['b1'] = np.sum(delta1, axis=0) # W1の勾配 grad['W1'] = np.dot(x.T, delta1)
- 71. 確認テスト delta2 = functions.d_mean_squared_error(d, y) grad['W2'] = np.dot(z1.T, delta2) 出力層側の活性化関数は、 恒等写像と仮定している 場合は、y=uとなり、u をuで微分した値は１と なるため、そのまま渡す ことになる。 uをｗjiで微分した値、 delta2に渡した値とz1の転 置の内積値を取ることで ｗ２の勾配を求める。
- 72. 終了課題 • アイリスデータの回帰か分類を行う。 • ソースコード（最低限JNで動くこと） • 可視化した図・・・入力値、中間層数、ノード数、誤差関数、 パラメータの誤差を少なくするための工夫
- 73. 終了課題考察 • Irisデータ **Data Set Characteristics:** :Number of Instances: 150 (50 in each of three classes) :Number of Attributes: 4 numeric, predictive attributes and the class :Attribute Information: - sepal length in cm - sepal width in cm - petal length in cm - petal width in cm - class: - Iris-Setosa - Iris-Versicolour - Iris-Virginica
- 74. 終了課題の可視化 他クラス分類を行うため、活性化関数はソフトマックス関数、 誤差関数は交差エントロピーを使う。 ｘ１ がく片の長さ ｘ２ がく片の幅 ｘ３ 花びらの長さ ｘ４ 花びらの幅 入力層 x1 z1 (1) x2 z2 (1) x3 z3 (1) x4 z4 (1) u1 z1 (2) u2 z2 (2) u3 z3 (2) (1) 中間層 出力層 (1) (1) u1 z1 (3)(2) yp yt w , b w , b (1) (1) (2) (2) 誤差関数 交差エントロピー活性化関数 ソフトマックス関数
- 75. 終了課題考察 インターネットには多くの情報が載っているが、なかなかまとまった情報 は乗っていない。多くのサイトと本を参考とした。 【参考とした主なサイト、本】 ・https://newtechnologylifestyle.net/tensorflow-kerasでの教師あり学習%e3%80%80-アヤメの分類 ・http://tadaoyamaoka.hatenablog.com/entry/2016/04/10/120305 ・https://www.infiniteloop.co.jp/blog/2018/01/learning-keras-04/ ・https://yolo.love/scikit-learn/iris/ ・https://scikit-learn.org/stable/modules/generated/sklearn.model_selection.train_test_split.html ・https://fits.hatenablog.com/entry/2016/05/31/215019 ・https://note.nkmk.me/python-scikit-learn-svm-iris-dataset/ ・https://github.com/levelfour/machine-learning-2014/wiki/第1回---iris-classification ・https://jp.mathworks.com/help/deeplearning/ref/trainsoftmaxlayer.html 【参考とした主なサイト、本】 ・基礎からわかる！しっかりわかる線形代数ゼミ ナツメ社 ・DEEP LEARNING 深層学習 ASCII DWANGO ・ゼロから作るDeeｐLearning O’REILLY ・ディープラーニングの数学 日経BP社 ・入門Python3 O’REILLY ・Python3ではじめるシステムトレード Pan Rolling
- 76. 論文解説 • 論文に何を求めているのか、によって読み方が変わる。 ⇒本などの参考文献を確認する。 ⇒論文を読む場合は、先に実験結果、結論を見て、理解した後 に読むと理解が早い。 • 実験結果は詳細が記載されていないこともある。（前提がなかった り、常識として抜けていたり。） ⇒論文作者の考えていることを１００％理解して実装するのは 難しいため、自分で考えて使えるようにする。 • あくまで読むべき目的の設定に応じた使い方をする必要がある。 ⇒1つ1つをじっくり読むのではなく、ポイントを絞って 多くを読むほうが良い。